Uma análise abrangente das técnicas de roteamento de mistura de especialistas em modelos de IA modernos

O mecanismo de seleção, ou roteador, é central nos modelos de Mistura de Especialistas (MoE), determinando quais redes de especialistas especializadas processam cada token. Várias estratégias moldam a qualidade, o custo e o equilíbrio de carga desses sistemas. As técnicas variam desde a seleção padrão Top-K, onde modelos como o Mixtral 8x7B ativam 13B parâmetros de 47B, até o Switch Transformer, que direciona cada token para um único especialista, preservando a qualidade. Outros métodos avançados incluem o DeepSeekMoE, que separa o conhecimento comum em especialistas compartilhados, juntamente com especialistas com roteamento esparso, um padrão seguido por Kimi K2 e GLM-4.5. A gating sigmoid, utilizada pelo DeepSeek-V3 e GLM-4.5, introduz um viés por especialista que se ajusta com base na carga. Além disso, o DeepSeek-V3 limita o roteamento de tokens a 4 nós para otimizar a sobreposição de computação, enquanto a escolha de roteamento de especialistas do Google em configurações de pesquisa permite que os especialistas selecionem tokens, potencialmente acelerando a convergência em mais de 2x. Além disso, o roteamento por hash atribui especialistas com base no ID do token sem aprendizado, e o top-k dinâmico permite a ativação variável de especialistas por token. Para implantação, os arquivos de configuração especificam parâmetros como o número de especialistas e o método topk, com a pontuação sigmoid e o balanceamento de viés atualmente notados como o padrão aberto para novas execuções de pré-treinamento.