Moore threads lanza Megatron-MUSA-Titan de código abierto para el entrenamiento de modelos moe con billones de parámetros

El 28 de octubre de 2026, Moore Threads anunció el código abierto de su proyecto Megatron-MUSA-Titan, una infraestructura de entrenamiento de modelos diseñada para modelos MoE con billones de parámetros en clústeres de miles de GPU. El proyecto admite tanto los escenarios de preentrenamiento como el aprendizaje por refuerzo, ofreciendo a los desarrolladores capacidades de adaptación y optimización del sistema para la plataforma MUSA. Megatron-MUSA-Titan se ha aplicado continuamente en el preentrenamiento de modelos MoE con billones de parámetros en los clústeres de miles de GPU de Moore Threads, logrando un alto rendimiento de MFU y un entrenamiento estable a largo plazo. También admite la integración con los marcos de aprendizaje por refuerzo Slime y Miles, combinando el entrenamiento de Megatron con la generación de muestras de SGLang para crear una base de entrenamiento que abarca el preentrenamiento y el aprendizaje por refuerzo. El proyecto admite el entrenamiento de bloques en FP8, aprovechando las capacidades de computación de baja precisión de Moore Threads para mejorar la eficiencia computacional en el entrenamiento a gran escala. También se integra con los motores de comunicación asíncrona DeepEP y ACE para acelerar la distribución y la agregación de tokens en los modelos MoE, lo que permite el paralelismo de expertos y la computación superpuesta con el intercambio de datos para mejorar la eficiencia del entrenamiento de extremo a extremo.