Una visión completa de las técnicas de enrutamiento de expertos en modelos de IA modernos

El mecanismo de selección, o enrutador, es central en los modelos de Mezcla de Expertos (MoE), determinando qué redes de expertos especializadas procesan cada token. Diversas estrategias dan forma a la calidad, el coste y el equilibrio de carga de estos sistemas. Las técnicas van desde la selección estándar Top-K, donde modelos como Mixtral 8x7B activan 13B parámetros de 47B, hasta Switch Transformer, que enruta cada token a un único experto al tiempo que preserva la calidad. Otros métodos avanzados incluyen DeepSeekMoE, que separa el conocimiento común en expertos compartidos junto con expertos enrutados de forma dispersa, un patrón seguido por Kimi K2 y GLM-4.5. El gating de sigmoid, utilizado por DeepSeek-V3 y GLM-4.5, introduce un sesgo por experto que se ajusta en función de la carga. Además, DeepSeek-V3 limita el enrutamiento de tokens a 4 nodos para optimizar la superposición de cálculo, mientras que la elección de expertos de Google en entornos de investigación permite a los expertos seleccionar tokens, lo que potencialmente acelera la convergencia en más de 2x. Además de esto, el enrutamiento por hash asigna expertos en función del ID del token sin aprendizaje, y el Top-K dinámico permite la activación variable de expertos por token. Para el despliegue, los archivos de configuración especifican parámetros como el número de expertos y el método de Top-K, y se ha notado que la puntuación de sigmoid y el equilibrio de sesgo son los valores predeterminados actuales para nuevas ejecuciones de preentrenamiento.