Meta lanza Muse Glimmer, modelo de 30B con arquitectura híbrida eficiente

Meta lanzó Muse Glimmer, modelo de lenguaje multimodal con 30 mil millones de parámetros utilizando arquitectura similar a Gemma. El modelo presenta ventana de contexto de 131 mil tokens, diseño denso sin mixture-of-experts, y atención híbrida que combina grouped-query attention con sliding window attention en proporción 3:1. Destaca por eficiencia extrema de caché KV, con 32 cabezas de query para solo 2 de KV. Utiliza SwiGLU en lugar de GeGLU en activaciones y aplica atención gated tanto en GQA como en sliding window attention, ofreciendo ventajas de eficiencia comparadas con arquitecturas similares como Gemma 4.