Relevamiento técnico completo de la familia de arquitectura de transformador

Esta guía técnica extensa cubre la evolución de modelos de transformadores desde el mecanismo original de atención de producto punto escalado hasta variantes modernas diseñadas para eficiencia y capacidad mejoradas. El artículo examina cómo la auto-atención permite que las redes neuronales se enfoquen selectivamente en componentes de entrada a través de pesos aprendidos. El mecanismo de auto-atención multi-cabeza de la arquitectura de transformador se explora como un componente central que permite cálculos de atención paralelos. El relevamiento discute extensiones que abordan limitaciones clave de transformadores vanilla incluyendo requisitos de memoria para manejar secuencias largas, complejidad computacional y desempeño en tareas especializadas como aprendizaje por refuerzo. Se revisan múltiples mejoras arquitectónicas, representando casi tres años de desarrollo de modelo desde la publicación original del relevamiento. La guía sirve como material de referencia para entender las implementaciones diversas de transformadores prevalentes en modelos de lenguaje contemporáneos.