Análisis Examina Arquitecturas Alternativas a los LLMs Basados en Transformer Estándar

Un análisis integral examina alternativas a los modelos de lenguaje basados en transformer estándar que actualmente dominan el campo, incluyendo modelos de difusión de texto, arquitecturas híbridas de atención lineal, y enfoques especializados como modelos de mundo de código. Estos enfoques alternativos se evalúan por su potencial para mejorar la eficiencia o desempeño de modelaje más allá de lo que ofrecen los diseños tradicionales de transformer autorregresivo, con ejemplos recientes de finales de 2024 hasta 2026.