Zyphra apresenta zha, um novo mecanismo de atenção esparso com o objetivo de escalabilidade subquadrática

A Zyphra introduziu a Zyphra Hierarchical Attention (ZHA), um novo método de atenção esparso que utiliza um indexador estruturado em árvore para abordar as limitações das técnicas existentes de atenção esparsa. Ao contrário dos métodos onde o indexador percorre todo o contexto, a ZHA torna o processo de busca esparso comprimindo as chaves em resumos hierárquicos. Esta abordagem permite que a técnica seja integrada em modelos pré-treinados congelados, como o Qwen3.6-35B-A3B, mantendo o desempenho próximo ao da atenção densa em benchmarks de raciocínio e codificação. Testes no Qwen3.6-35B-A3B demonstraram que a ZHA mantinha alta precisão em tarefas de recuperação, mantendo-se acima de 93% no RULER-13, superando significativamente o MiniMax Sparse Attention (MSA) em 77,1%. Em modelagem de latência, a ZHA demonstrou ganhos substanciais de velocidade, com um aumento de 373 a 417x em relação à atenção densa em 1 bilhão de tokens. A metodologia envolve a divisão das chaves em fragmentos, a sua sumarização e o uso de um mecanismo top-p para selecionar adaptativamente os ramos durante a decodificação. Embora o modelo base permaneça congelado, apenas as consultas de referência são treinadas usando uma perda KL. A Zyphra observou que os resultados melhoraram significativamente ao converter modelos com 4 bilhões de parâmetros ou mais, e também treinaram um indexador MSA com 40 bilhões de tokens.