Google apresenta Gemma 4 com contexto estendido e arquitetura aprimorada

Google lançou Gemma 4, família de modelos de linguagem abertos em múltiplos tamanhos, com destaque para a variante densa de 31 bilhões de parâmetros e modelo mixture-of-experts de 26B-A4B multimodal. O modelo mantém padrões conhecidos de Gemma com atenção deslizante intercalada com camadas de atenção completa em proporção 5:1, expandindo a janela de contexto para 256 mil tokens, dobrando o limite anterior de 128 mil do Gemma 3 27B. Inclui grouped-query attention, QK-Norm e arranjo incomum de pré e pós-RMSNorm, junto com modelo de rascunho dedicado para predição multi-token e decodificação especulativa. O modelo incorpora codificador de visão de aproximadamente 550 milhões de parâmetros, demonstrando melhoria significativa sobre Gemma 3 27B em benchmarks como MMLU-Pro.