Aleph alpha presenta kolibri: un modelo de lenguaje moe en inglés-alemán de alto rendimiento con 78.100 millones de parámetros

Aleph Alpha ha lanzado Kolibri, un modelo de lenguaje MoE (Mixture-of-Experts) bilingüe en inglés-alemán con un total de 78.100 millones de parámetros, de los cuales solo 3.460 millones están activos en cualquier momento. El modelo admite hasta 1 millón de tokens de contexto y está disponible bajo la licencia Apache 2.0 en Hugging Face. Está diseñado para su implementación en sectores regulados como la administración pública y la aeroespacial. Kolibri, desarrollado íntegramente en Alemania, cuenta con un mecanismo de atención híbrido con atención de ventana deslizante y bloques de atención completos. Utiliza atención agrupada con 48 cabezales de consulta y 4 cabezales KV, y se ha entrenado con 20 billones de tokens en 768 GPU NVIDIA B200. El modelo también incluye más de 2 billones de tokens alemanes curados y logra un rendimiento competitivo en benchmarks como GPQA Diamond y AIME 2026. Aleph Alpha enfatiza el cumplimiento de las regulaciones de la UE, incluidas las leyes de IA y GDPR, y informa que Kolibri supera a su predecesor tanto en eficiencia como en rendimiento.