Google presenta Gemma 4 con contexto expandido y arquitectura mejorada

Google lanzó Gemma 4, familia de modelos de lenguaje abiertos en múltiples tamaños, destacando la variante densa de 31 mil millones de parámetros y modelo mixture-of-experts de 26B-A4B multimodal. El modelo mantiene patrones conocidos de Gemma con atención deslizante intercalada con capas de atención completa en proporción 5:1, expandiendo la ventana de contexto a 256 mil tokens, duplicando el límite anterior de 128 mil del Gemma 3 27B. Incluye grouped-query attention, QK-Norm y arreglo inusual de pré y post-RMSNorm, junto con modelo de borrador dedicado para predicción multi-token y decodificación especulativa. El modelo incorpora codificador de visión de aproximadamente 550 millones de parámetros, demostrando mejora significativa sobre Gemma 3 27B en benchmarks como MMLU-Pro.