Xiaomi revela nova arquitetura para MiMo-V3 com hysparse 2

Luo Foli, líder do modelo MiMo da Xiaomi, anunciou hoje que o MiMo-V3 adotará uma nova arquitetura, juntamente com a sua versão central HySparse 2. A atualização reduz o cálculo de preenchimento em 5,02 vezes em comprimentos de 1M de tokens, ao mesmo tempo que melhora as pontuações de MRCRv2 e RULER-v2. Luo observou que o raciocínio baseado em agentes envolve interações dinâmicas, onde ações curtas podem retornar observações de texto longas, aumentando os custos e o tamanho do contexto de preenchimento. O HySparse 2 introduz o 'KV Bridging' e a reutilização de 'KV', permitindo que os tokens locais e globais compartilhem o mesmo cache de 'KV'. A Xiaomi também lançou e disponibilizou publicamente a série MiMo-V2.6, incluindo os modelos Pro e Flash, como parte da sua exploração de caminho RSI.