Xiaomi apresenta a arquitetura hysparse2 para maior eficiência em agentes com contexto longo

Em 24 de setembro de 2026, a Xiaomi anunciou o lançamento do HySparse2, a arquitetura central para o seu sistema MiMo-V3, projetado para otimizar o desempenho de agentes com contexto longo. O novo framework reduz o cálculo de preenchimento e o tamanho do cache KV, ao mesmo tempo em que melhora a precisão na recuperação de informações-chave de históricos de tarefas em expansão. O HySparse2 se baseia no seu predecessor, o HySparse, ao introduzir o compartilhamento de KV de dois níveis e a seleção esparsa em nível de token, permitindo um processamento mais eficiente de dados com contexto longo. A arquitetura divide o modelo em duas partes: um Self-Decoder com atenção completa e atenção de janela deslizante, e um Cross-Decoder com atenção completa e atenção esparsa. Isso permite o compartilhamento de caches KV e reduz a necessidade de ramos locais separados. Em testes em um modelo 80B-A3B MoE, o HySparse2 reduziu o cálculo de preenchimento em 1/5 em comparação com o Hybrid SWA e em 1/3 em comparação com o HySparse, além de reduzir o tamanho do cache KV de 12 GB para 2,7 GB. As melhorias aprimoram a recuperação de contexto longo e reduzem os erros de previsão do agente, representando um avanço significativo na razão eficiente de múltiplas etapas.