Prime intellect presenta prime mega moe: un núcleo moe fusionable entrenable para una mayor eficiencia de entrenamiento

Prime Intellect ha introducido Prime Mega MoE, un núcleo MoE fusionable entrenable diseñado para mejorar la eficiencia de entrenamiento de modelos a gran escala. Este núcleo se basa en Mega MoE de DeepSeek, que se integró en su biblioteca de código abierto DeepGEMM en abril de 2026. Prime Intellect amplió el núcleo para admitir pasadas hacia atrás, lo que lo hace adecuado para el entrenamiento completo en lugar de solo la inferencia. El nuevo núcleo permite hasta un 34% de pasos de entrenamiento más rápidos en modelos MoE de Qwen3, con mejoras de hasta el 55% en comparación con TorchTitan. El núcleo admite BF16, MXFP8 (solo Blackwell) y FP8 por bloques (solo Hopper), con un modo único fp8_bwd que combina la pasada hacia adelante BF16 y la pasada hacia atrás FP8. Los resultados del entrenamiento, basados en nodos 8×H200, FP8 y secuencias de 16.384 tokens, muestran mejoras significativas en el rendimiento tanto para los modelos de 30B como para los de 235B. Prime Mega MoE ahora está disponible como un backend de distribución en el marco prime-rl, con ruedas DeepGEMM preconstruidas proporcionadas a través de prime-kernels.