Investigadores de stanford y uc berkeley introducen TokenGate para acelerar el prellen de contexto largo en llms

Los investigadores de Stanford y UC Berkeley han introducido TokenGate, un módulo diseñado para acelerar significativamente el prellen de contexto largo en los modelos de lenguaje grandes (LLMs). TokenGate utiliza la poda de tokens para permitir que los LLMs existentes procesen solo los tokens más relevantes, logrando una mejora de 1,4x a 11,3x en el tiempo para obtener el primer token (TTFT) sin sacrificar la precisión. El módulo también reduce el uso máximo de memoria de prellen en un 1,5x a 3,4x. TokenGate es un componente que se puede integrar fácilmente, que incorpora la poda de tokens entrenable en modelos preentrenados, lo que permite un procesamiento eficiente de entradas largas. El equipo de investigación probó TokenGate en varios conjuntos de datos, incluidos RepoBench-P, 2WikiMultihopQA y NIAH, superando a los métodos existentes como FastKV y SlimInfer. El módulo utiliza una puerta aprendible para refinar los logits de atención, lo que permite el entrenamiento de extremo a extremo. El equipo también señaló que el rendimiento de TokenGate se atribuye a la adaptación conjunta de la arquitectura. El código y los puntos de control están disponibles en GitHub bajo la licencia Apache-2.0.