Análisis comparativo de los mecanismos de enrutamiento en modelos líderes de mixture-of-experts

Varios modelos avanzados de Mixture-of-Experts (MoE) utilizan el enrutamiento basado en la elección de tokens, que difieren en cinco parámetros clave: el número de expertos, los expertos por token, la presencia de expertos compartidos, la función de puntuación y el método de equilibrio de carga. DeepSeek-V3 utiliza 256 expertos enrutados con una función de puntuación sigmoide, mientras que DeepSeek-V4 aumenta esto a 384 expertos y cambia a una función sqrtsoftplus, incorporando el enrutamiento por hash en sus tres primeras capas. Otros modelos presentan arquitecturas distintas. Qwen3.6 emplea 256 expertos, incluyendo uno compartido, mientras que Llama 4 Maverick utiliza un diseño top-1, enrutando los tokens a un experto compartido y a uno de 128 expertos enrutados. gpt-oss-120b utiliza un router lineal sobre 128 expertos, omitiendo un experto compartido. Kimi K2 refleja la clase DeepseekV3ForCausalLM, escalando a 384 expertos enrutados. Las elecciones arquitectónicas impactan el rendimiento; por ejemplo, aumentar el número de expertos por capa aumenta la carga de memoria y el tráfico de comunicación, mientras que reducir el top-k reduce los cálculos por token. GLM-4.5 favoreció la profundidad con 160 expertos, contrastando con el enfoque en el ancho de otros. Estas configuraciones, obtenidas de informes de modelos y configuraciones de Hugging Face verificadas el 7 de noviembre de 2026, destacan los diversos compromisos de ingeniería en el despliegue de MoE.