Perplexity e NVIDIA revelam o jolt: uma nova técnica de aprendizado por reforço para modelos de linguagem

A Perplexity e a NVIDIA introduziram o JOLT, um novo método pós-treino para modelos de linguagem que combina os papéis de professor e aluno dentro de um único modelo. O JOLT, que significa Aprendizagem e Ensino Conjuntos On-policy, permite que o modelo atue tanto como um professor com informações privilegiadas quanto como um aluno sem tal acesso. Esta abordagem aborda as limitações dos métodos tradicionais de aprendizado por reforço, como o GRPO, que sofrem com sinais de recompensa esparsos e aprendizado lento em tarefas complexas. O JOLT melhora a eficiência, reduzindo o número de tokens de treinamento necessários, alcançando 6,5 vezes menos tokens processados do que o GRPO no benchmark MATH. O método também supera o GR,PO em vários benchmarks, incluindo GSM8K, LCBv6 e AppWorld, com ganhos significativos de precisão. A equipe de pesquisa testou o JOLT em cinco configurações, com o JOLT+ alcançando as pontuações mais altas em todos os casos. A pesquisa demonstra que o professor consistente em recompensas garante o alinhamento com os objetivos de aprendizado do aluno, levando a um melhor desempenho e convergência mais rápida. A equipe de pesquisa da Perplexity relatou que até mesmo a versão básica do JOLT superou o GRPO no MATH, alcançando 72,14% de precisão em comparação com 68,36%. O método também mostra um plateau mais alto na precisão, atingindo perto de 72% em comparação com 70% para o GRPO e 62% para o OPSD. Os resultados, detalhados no artigo no arXiv, destacam a importância do JOLT para avançar as técnicas de pós-treino para modelos de linguagem grandes.