Pesquisador da princeton apresenta transformador recorrente em laço para melhorar a eficiência do processamento de tokens

Um pesquisador da Princeton, Yifan Zhang, apresentou o Transformador Recorrente em Laço (RLT), uma nova arquitetura projetada para melhorar a eficiência dos modelos de linguagem grandes (LLMs) apenas de decodificação. O RLT transporta o estado oculto final do decodificador e seu cache de atenção deslizante em camadas (SWA) através dos tokens, eliminando a necessidade de reinicializações na fronteira entre a solicitação e a resposta. Essa abordagem permite que o modelo retenha informações históricas em vários tokens, potencialmente aprimorando sua capacidade de processar sequências com profundidade temporal ilimitada. O RLT combina um codificador causal com um decodificador recorrente, onde cada token executa 96 blocos lógicos devido à combinação das operações do codificador e do decodificador. A arquitetura define uma especificação de projeto, incluindo cronogramas de execução e um contrato de aprendizado por reforço (RL), embora não reporte resultados de eficiência ou escalabilidade medidos. O pré-treinamento envolve a previsão do próximo token da sequência completa com retropropagação completa através do tempo, e o serviço em várias etapas requer um instantâneo exato do prefixo para manter a consistência do estado em interações. O trabalho de Zhang se baseia em modelos existentes como YOCO e DeepSeek-V4.1-Flash, ao mesmo tempo em que introduz recursos exclusivos como feedback temporal e reutilização em profundidade. A pesquisa é detalhada em um relatório técnico, com recursos adicionais disponíveis no GitHub e uma página do projeto.