Análise Examina Arquiteturas Alternativas aos LLMs Baseados em Transformer Padrão

Uma análise abrangente examina alternativas aos modelos de linguagem baseados em transformer padrão que atualmente dominam o campo, incluindo modelos de difusão de texto, arquiteturas híbridas de atenção linear, e abordagens especializadas como modelos de mundo de código. Essas abordagens alternativas são avaliadas por seu potencial para melhorar a eficiência ou desempenho de modelagem além do que os designs tradicionais de transformer autorregressivo oferecem, com exemplos recentes de finais de 2024 até 2026.