Perplexidade aumenta a precisão da IA através do aprendizado com erros reais, utilizando técnicas guiadas por dicas

A Perplexity Research introduziu um novo método para melhorar a precisão da IA, treinando seus modelos em sessões reais de usuários, incluindo aquelas que falharam. A abordagem combina o ajuste fino com amostragem de rejeição com destilação auto-guiada por dicas, resultando em uma redução de 21,2% nos erros de chamadas de ferramentas, de 2,24% para 1,77%, em testes A/B ao vivo. O modelo, executado dentro do Perplexity Computer, utiliza o GLM 5.2 como base e está disponível no Hugging Face. A técnica separa as sessões em sucessivas e malsucedidas, utilizando dicas para corrigir erros. As dicas são instruções curtas baseadas no conhecimento existente do modelo, como sugerir valores válidos para uma consulta de pesquisa. O método de Destilação Auto-On-Policy (OPSD) envolve a execução do mesmo checkpoint duas vezes, com a passagem do professor utilizando dicas e a passagem do aluno não, para refinar o aprendizado do modelo. A função de perda combinada inclui entropia cruzada e um termo de divergência KL, com λ controlando o equilíbrio entre os dois. As sessões são filtradas para elegibilidade de treinamento, excluindo aquelas com informações pessoalmente identificáveis. Os juízes LLM avaliam as tarefas em uma escala de 5 pontos, e duas aprovações são necessárias para que uma sessão seja considerada bem-sucedida. O feedback do usuário envolve três juízes LLM identificando a causa raiz, com pelo menos dois concordando. Este processo ajuda a reduzir o viés de retrospectiva, verificando as dicas contra as informações disponíveis antes do erro.