Las recetas de entrenamiento de modelos de IA de frontera evolucionan hacia distilación multimaestro

El contenido examina la evolución de las recetas de post-entrenamiento—técnicas para refinar modelos de lenguaje después de su fase de entrenamiento inicial. A través de una conversación entre Nathan Lambert y Finbarr Timbers, especialistas en desarrollo de modelos de IA, se traza la progresión desde InstructGPT (2022) hasta los modelos fronterizos de 2026. El patrón dominante en 2026 es la Multi-teacher On-Policy Distillation (MOPD), un método donde múltiples modelos especializados en dominios específicos enseñan a un modelo general único. Este enfoque surgió porque el aprendizaje por refuerzo tradicional se volvió computacionalmente costoso y propenso a conflictos de capacidades cuando intentaba optimizar simultáneamente para matemáticas, generación de código y comportamiento de agentes. El análisis incluye una revisión histórica que va desde el pipeline simple de InstructGPT (SFT → modelo de recompensa → PPO) pasando por enfoques multi-etapa de Llama 3, hasta modelos recientes como DeepSeek V4, MiMo Flash v2 y Nemotron 3 Ultra, que han adoptado la estrategia MOPD. La discusión también aborda desafíos organizacionales: el post-entrenamiento avanzado no es solo un problema técnico, sino de capacidad organizacional para coordenar recursos computacionales y talento investigador.