Baidu lanza el modelo base ERNIE-5.5 con 280 mil millones de parámetros, ofreciendo pesos de código abierto

Baidu ha lanzado públicamente el modelo ERNIE-5.5-Flash-Base, haciendo que los pesos de su modelo pre-entrenado estén disponibles. Este modelo de lenguaje Mixture-of-Experts (MoE) esparso cuenta con un total de 280 mil millones de parámetros, activando solo 14 mil millones por token, y se ha pre-entrenado desde cero con 33.5 billones de tokens. Aunque el modelo base se proporciona como punto de partida para la investigación, Baidu ha declarado que una versión posterior, ERNIE 5.5 Flash, se lanzará posteriormente. El entrenamiento del modelo utilizó el optimizador Muon y la precisión mixta FP8, con un contexto de entrenamiento máximo de 128K tokens, aunque el soporte para la inferencia y el ajuste fino llega hasta 1M tokens. El corpus de entrenamiento se centró en tres áreas: datos de código, que incluían datos de evolución de software; datos de larga duración, que presentaban documentos naturales y preguntas y respuestas sintéticas; y curación de datos especializada. Técnicamente, el diseño del sistema presentaba un optimizador Muon distribuido que fusiona la comunicación entre máquinas para los parámetros Dense y MoE, reduciendo la latencia. ERNIE-5.5-Flash-Base se evaluó en 30 benchmarks que cubren siete capacidades, incluyendo código y contexto largo, y su rendimiento se comparó con DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base.