Xiaomi presenta una nueva arquitectura para MiMo-V3 con hysparse 2

Xiaomi, a través de su líder de modelo MiMo, Luo Foli, anunció hoy que MiMo-V3 adoptará una nueva arquitectura, junto con la liberación de su núcleo HySparse 2. La actualización reduce el cálculo de pre-llenado en 5,02 veces a una longitud de 1M Token, al tiempo que mejora las puntuaciones de MRCRv2 y RULER-v2. Luo señaló que el razonamiento basado en agentes implica interacciones dinámicas donde las acciones cortas pueden devolver observaciones de texto largas, lo que aumenta los costes y el tamaño del contexto de pre-llenado. HySparse 2 introduce el puente KV y la reutilización de KV, lo que permite que los tokens locales y globales compartan la misma caché KV. Xiaomi también lanzó y abrió el código fuente de la serie MiMo-V2.6 ayer, que incluye los modelos Pro y Flash, como parte de su exploración de la ruta RSI.