Perplexity y NVIDIA presentan jolt: una nueva técnica de aprendizaje por refuerzo para modelos de lenguaje

Perplexity y NVIDIA han introducido JOLT, un método novedoso de post-entrenamiento para modelos de lenguaje que combina los roles de maestro y alumno dentro de un solo modelo. JOLT, que significa Aprendizaje y Enseñanza Conjunto On-policy, permite que el modelo actúe tanto como un maestro con información privilegiada como un alumno sin acceso a dicha información. Este enfoque aborda las limitaciones de los métodos tradicionales de aprendizaje por refuerzo, como GRPO, que sufren de señales de recompensa escasas y un aprendizaje lento en tareas complejas. JOLT mejora la eficiencia al reducir el número de tokens de entrenamiento necesarios, logrando 6,5 veces menos tokens procesados que GRPO en el conjunto de datos MATH. El método también supera a GR,PO en varios conjuntos de datos, incluidos GSM8K, LCBv6 y AppWorld, con importantes ganancias en la precisión. El equipo de investigación probó JOLT en cinco configuraciones, y JOLT+ obtuvo las puntuaciones más altas en todos los casos. El estudio demuestra que el maestro coherente en recompensas de JOLT garantiza la alineación con los objetivos de aprendizaje del alumno, lo que conduce a un mejor rendimiento y una convergencia más rápida. El equipo de investigación de Perplexity informó que incluso la versión básica de JOLT superó a GRPO en MATH, logrando una precisión del 72,14% en comparación con el 68,36%. El método también muestra un plateau más alto en la precisión, alcanzando casi el 72% en comparación con el 70% para GRPO y el 62% para OPSD. Los hallazgos, detallados en el artículo de arXiv, subrayan la importancia de JOLT para avanzar en las técnicas de post-entrenamiento para modelos de lenguaje grandes.