Startups exploram alternativas aos transformers para próxima geração de modelos linguísticos

Uma onda de startups está a investigar modelos linguísticos de próxima geração além da arquitectura de transformers dominante. Embora os transformers tenham sido fundamentais para o sucesso dos modelos linguísticos grandes actuais, investigadores identificaram limitações fundamentais que estão sendo contornadas através de soluções parciais em modelos recentes. Startups como Subquadratic estão a explorar arquitecturas alternativas que possam resolver estes gargalos técnicos. Enquanto alguns destes esforços falharão, a onda de inovação representa uma oportunidade para empresas menores competirem à medida que o campo evolui além da dominância de transformers.