Startups persiguen alternativas a los transformers para modelos de lenguaje de próxima generación

Una ola de startups está investigando modelos de lenguaje de próxima generación más allá de la arquitectura de transformers dominante. Aunque los transformers han sido fundamentales para el éxito de los grandes modelos de lenguaje actuales, los investigadores han identificado limitaciones fundamentales que se están resolviendo mediante soluciones parciales en modelos recientes. Startups como Subquadratic están explorando arquitecturas alternativas que podrían resolver estos cuellos de botella técnicos. Si bien algunos de estos esfuerzos fallarán, la ola de innovación representa una oportunidad para que las empresas más pequeñas compitan a medida que el campo evoluciona más allá del dominio de los transformers.