Moore threads lança Megatron-MUSA-Titan de código aberto para treinamento de modelos moe com trilhões de parâmetros

Em 28 de outubro de 2026, a Moore Threads anunciou o lançamento do código aberto do seu projeto Megatron-MUSA-Titan, uma infraestrutura de treinamento de modelos de grande porte, projetada para modelos MoE com trilhões de parâmetros em clusters de GPU de milhares. O projeto suporta cenários de pré-treinamento e aprendizado por reforço, oferecendo aos desenvolvedores capacidades de adaptação de treinamento e otimização do sistema para a plataforma MUSA. O Megatron-MUSA-Titan tem sido aplicado continuamente no pré-treinamento de modelos MoE com trilhões de parâmetros em clusters de GPU de milhares da Moore Threads, alcançando altas taxas de MFU e treinamento estável a longo prazo. Também suporta a integração com os frameworks de aprendizado por reforço Slime e Miles, combinando o treinamento Megatron com a geração de amostras SGLang para criar uma base de treinamento que abrange o pré-treinamento e o aprendizado por reforço. O projeto suporta o treinamento em FP8 em blocos, aproveitando as capacidades de computação de baixa precisão da Moore Threads para melhorar a eficiência computacional no treinamento em grande escala. Também integra-se com os motores de comunicação assíncrona DeepEP e ACE para acelerar a distribuição e agregação de tokens em modelos MoE, permitindo o paralelismo de especialistas e a sobreposição de computação com troca de dados para melhorar a eficiência do treinamento de ponta a ponta.