Meta lança Muse Glimmer, modelo de 30B com arquitetura híbrida eficiente

Meta disponibilizou o Muse Glimmer, modelo de linguagem multimodal com 30 bilhões de parâmetros usando arquitetura similar à Gemma. O modelo apresenta janela de contexto de 131 mil tokens, design denso sem mixture-of-experts, e atenção híbrida que combina grouped-query attention com sliding window attention numa proporção 3:1. Destaca-se por eficiência extrema de cache KV, com 32 cabeças de query para apenas 2 de KV. Utiliza SwiGLU em lugar de GeGLU nas ativações e aplica atenção gated tanto em GQA quanto em sliding window attention, oferecendo vantagens comparativas sobre arquiteturas similares como Gemma 4 em termos de eficiência de cache.