Xiaomi presenta la arquitectura hysparse2 para una mayor eficiencia en agentes con contexto largo

El 24 de septiembre de 2026, Xiaomi anunció el lanzamiento de HySparse2, la arquitectura central para su sistema MiMo-V3, diseñada para optimizar el rendimiento de los agentes con contexto largo. El nuevo marco reduce los cálculos de prellenado y el tamaño de la caché KV, al tiempo que mejora la precisión en la recuperación de información clave de los registros de tareas en crecimiento. HySparse2 se basa en su predecesor, HySparse, al introducir el intercambio de KV de dos niveles y la selección esparsa a nivel de token, lo que permite un procesamiento más eficiente de los datos con contexto largo. La arquitectura divide el modelo en dos partes: un Decodificador Auto con atención completa y atención de ventana deslizante, y un Decodificador Cruz con atención completa y atención esparsa. Esto permite el uso compartido de las cachés KV y reduce la necesidad de ramas locales separadas. En pruebas con un modelo MoE de 80B-A3B, HySparse2 redujo los cálculos de prellenado en un 1/5 en comparación con Hybrid SWA y en un 1/3 en comparación con HySparse, al tiempo que redujo el tamaño de la caché KV de 12 GB a 2,7 GB. Estas mejoras mejoran la recuperación de contexto largo y reducen los errores de predicción del agente, lo que representa un importante avance en el razonamiento eficiente de múltiples turnos.