A nova solução da Nvidia, pivotopd, melhora a capacidade dos agentes de IA de se recuperarem de erros críticos

A NVIDIA, em colaboração com a Universidade de Princeton e a Universidade de Maryland, introduziu o PivotOPD, um novo método de destilação de políticas que visa melhorar a capacidade de agentes de modelos de linguagem (LLM) de longa duração de se recuperarem de erros críticos. O PivotOPD treina os agentes para evitar seus erros iniciais mais prejudiciais e para se recuperarem quando ocorrem, superando 13 linhas de base nos benchmarks ALFWorld, WebShop e Search-based QA para os modelos Qwen3-1.7B e Qwen3-8B. O método demonstra que a recuperação é aprendível, uma lacuna nos métodos de destilação de políticas padrão. Erros críticos, definidos como ações que prolongam o caminho mais curto para a conclusão de uma tarefa ou a tornam insolúvel, foram identificados em 59% dos lançamentos malsucedidos nos modelos Qwen3-8B, Qwen3-30B-A3B e Qwen3-235B-A22B. Corrigir esses erros em cenários de replay aumentou as taxas de sucesso de 8% para 59%, enquanto o OPD padrão reduziu as taxas de falha de 79% para 56%. O PivotOPD, que integra três componentes em uma única atualização PPO, alcançou melhorias significativas, incluindo 73,7% no ALFWorld com o modelo de 1,7B e 93,0% com o modelo de 8B. Também demonstrou fortes taxas de recuperação, com 72,7% de sucesso na recuperação de erros críticos em replay em comparação com 8,3% para o modelo base.