Investigador de princeton presenta un transformador recurrente con bucle para mejorar la eficiencia del procesamiento de tokens

Un investigador de Princeton, Yifan Zhang, ha presentado el Transformador Recurrente con Bucle (RLT), una nueva arquitectura diseñada para mejorar la eficiencia de los modelos de lenguaje grandes (LLM) de solo decodificador. El RLT transporta el estado oculto final del decodificador y su caché de atención deslizante por capas (SWA) a través de los tokens, eliminando la necesidad de reinicios en el límite entre la pregunta y la respuesta. Este enfoque permite que el modelo conserve información histórica a través de los tokens, lo que potencialmente mejora su capacidad para procesar secuencias con una profundidad temporal ilimitada. El RLT combina un codificador causal con un decodificador recurrente, donde cada token ejecuta 96 bloques lógicos debido a la combinación de las operaciones del codificador y el decodificador. La arquitectura define una especificación de diseño, que incluye horarios de ejecución y un contrato de aprendizaje por refuerzo (RL), aunque no informa de resultados de eficiencia o escalabilidad medidos. El preentrenamiento implica la predicción del siguiente token de la secuencia completa con retropropagación completa a través del tiempo, y el servicio de múltiples turnos requiere una instantánea exacta del prefijo para mantener la consistencia del estado a través de las interacciones. El trabajo de Zhang se basa en modelos existentes como YOCO y DeepSeek-V4.1-Flash, al tiempo que introduce características únicas como la retroalimentación temporal y la reutilización en profundidad. La investigación se detalla en un informe técnico, y se dispone de recursos adicionales en GitHub y una página del proyecto.