El enfoque pivotopd de Nvidia mejora la capacidad de los agentes de IA para recuperarse de errores críticos

NVIDIA, en colaboración con la Universidad de Princeton y la Universidad de Maryland, ha presentado PivotOPD, un nuevo método de destilación de políticas que está diseñado para mejorar la capacidad de los agentes de modelos de lenguaje grandes (LLM) de varios turnos para recuperarse de errores críticos. PivotOPD entrena a los agentes para evitar sus errores iniciales más dañinos y recuperarse cuando ocurren, superando a 13 líneas de base en los conjuntos de datos ALFWorld, WebShop y Search-based QA para los modelos Qwen3-1.7B y Qwen3-8B. El método demuestra que la recuperación es aprendible, una laguna en la destilación de políticas estándar. Los errores críticos, definidos como acciones que extienden la ruta más corta para completar una tarea o la hacen imposible, se identificaron en el 59% de los despliegues fallidos en los modelos Qwen3-8B, Qwen3-30B-A3B y Qwen3-235B-A22B. Corregir estos errores en escenarios de reentrenamiento aumentó las tasas de éxito del 8% al 59%, mientras que OPD estándar redujo las tasas de fallo del 79% al 56%. PivotOPD, que integra tres componentes en una única actualización de PPO, logró mejoras significativas, incluyendo un 73,7% en ALFWorld con el modelo de 1,7B y un 93,0% con el modelo de 8B. También mostró altas tasas de recuperación, con un 72,7% de éxito en la recuperación de errores críticos, en comparación con el 8,3% del modelo base.