Zyphra presenta zha, un nuevo mecanismo de atención dispersa que apunta a una escala subcuadrática

Zyphra ha introducido Zyphra Hierarchical Attention (ZHA), un nuevo método de atención dispersa que utiliza un indexador estructurado en árbol para abordar las limitaciones de las técnicas de atención dispersa existentes. A diferencia de los métodos en los que el indexador escanea todo el contexto, ZHA hace que el propio proceso de búsqueda sea disperso comprimiendo las claves en resúmenes jerárquicos. Este enfoque permite que la técnica se incorpore en modelos preentrenados congelados, como Qwen3.6-35B-A3B, manteniendo un rendimiento similar al de la atención densa en las tareas de razonamiento y codificación. Las pruebas en Qwen3.6-35B-A3B mostraron que ZHA mantenía una alta precisión en las tareas de recuperación, superando al MiniMax Sparse Attention (MSA) en un 77,1% en RULER-13, y permaneciendo por encima del 93%. En el modelado de la latencia, ZHA demostró importantes mejoras de velocidad, logrando ganancias de 373 a 417 veces en comparación con la atención densa en 1 billón de tokens. El método implica dividir las claves en fragmentos, resumirlos y utilizar un mecanismo top-p para seleccionar adaptativamente las ramas durante la decodificación. Si bien el modelo base permanece congelado, solo las consultas de referencia se entrenan utilizando una pérdida KL. Zyphra señaló que los resultados mejoraron significativamente al convertir modelos de 4 mil millones de parámetros o más, y también entrenaron un indexador MSA con 40 mil millones de tokens.