Múltiples Modelos de Código Abierto Emergen con Arquitecturas Innovadoras

Los modelos de código abierto consolidan su posición como componentes fundamentales en un ecosistema de inteligencia artificial equilibrado, permitiendo verificación independiente y ofreciendo alternativas a usuarios preocupados por la privacidad. Esta semana se presentaron múltiples lanzamientos de modelos con arquitecturas innovadoras. Nanbeige 4.2 3B implementa un mecanismo de compartición de profundidad iterada que reutiliza la misma pila de 22 capas transformers dos veces, duplicando efectivamente la profundidad sin duplicar pesos. La técnica alcanza aproximadamente el 75% de la eficiencia de tokens de una arquitectura estándar. Laguna S 2.1, de Poolside, ofrece 118 mil millones de parámetros totales con 8 mil millones activos y admite ventanas de contexto de un millón de tokens, emergiendo como una opción práctica para cargas de trabajo exigentes. Motif-3-Beta presenta una arquitectura sparse mixture-of-experts con 314 mil millones de parámetros totales y 13 mil millones activos, introduciendo Grouped Differential Latent Attention como técnica novedosa de compresión. Upstage lanzó Solar Open 2, combinando 250 mil millones de parámetros con 15 mil millones activos en un diseño híbrido que intercala capas especializadas. Cisco presentó Antares 1B, un modelo compacto diseñado específicamente para aplicaciones de ciberseguridad basadas en terminal, mientras que BTL-3, un adaptador LoRA para el modelo de 27 mil millones de parámetros de Qwen, demuestra la relevancia continua de técnicas de adaptación de bajo rango en 2026.