Prime intellect revela o prime mega moe: um núcleo moe fundido treinável para maior eficiência de treinamento

A Prime Intellect introduziu o Prime Mega MoE, um núcleo MoE fundido treinável, projetado para melhorar a eficiência de treinamento para modelos em grande escala. Este núcleo se baseia no Mega MoE da DeepSeek, que foi integrado à sua biblioteca de código aberto DeepGEMM em abril de 2026. A Prime Intellect estendeu o núcleo para suportar passes para trás, tornando-o adequado para treinamento completo, em vez de apenas inferência. O novo núcleo permite até 34% de passos de treinamento mais rápidos nos modelos Qwen3 MoE, com ganhos de até 55% em comparação com o TorchTitan. O núcleo suporta BF16, MXFP8 (apenas Blackwell) e FP8 em blocos (apenas Hopper), com um modo único fp8_bwd que combina o forward BF16 e o backward FP8. Os resultados de treinamento, com base em nós 8×H200, FP8 e sequências de 16.384 tokens, mostram melhorias significativas na taxa de transferência para os modelos de 30B e 235B. O Prime Mega MoE está agora disponível como um backend de despacho no framework prime-rl, com rodas DeepGEMM pré-construídas fornecidas através de prime-kernels.