Aleph alpha revela o kolibri: um modelo de linguagem inglês-alemão de alto desempenho com 78,1 bilhões de parâmetros

A Aleph Alpha lançou o Kolibri, um modelo de linguagem inglês-alemão de mistura de especialistas (MoE) com 78,1 bilhões de parâmetros totais, dos quais apenas 3,46 bilhões estão ativos a qualquer momento. O modelo suporta até 1 milhão de tokens de contexto e está disponível sob a licença Apache 2.0 no Hugging Face. É projetado para implantação em setores regulamentados, como administração pública e aeroespacial. O Kolibri, desenvolvido inteiramente na Alemanha, possui um mecanismo de atenção híbrido com atenção de janela deslizante e blocos de atenção completos. Utiliza atenção agrupada com 48 cabeças de consulta e 4 cabeças KV, e foi treinado em 20 trilhões de tokens em 768 GPUs NVIDIA B200. O modelo também inclui mais de 2 trilhões de tokens alemães selecionados e alcança um desempenho competitivo em benchmarks como GPQA Diamond e AIME 2026. A Aleph Alpha enfatiza a conformidade com as regulamentações da UE, incluindo o AI Act e o GDPR, e relata que o Kolibri supera seu predecessor em eficiência e desempenho.