Pesquisadores de stanford e uc berkeley introduzem o TokenGate para acelerar o preenchimento de contexto longo em llms

Os pesquisadores de Stanford e UC Berkeley introduziram o TokenGate, um módulo projetado para acelerar significativamente o preenchimento de contexto longo em modelos de linguagem grandes (LLMs). O TokenGate utiliza a poda de tokens para permitir que os LLMs existentes processem apenas os tokens mais relevantes, alcançando uma melhoria de 1,4x a 11,3x no tempo para o primeiro token (TTFT) sem sacrificar a precisão. O módulo também reduz o uso máximo de memória de preenchimento em 1,5x a 3,4x. O TokenGate é um componente que se integra, permitindo a aplicação de poda de tokens treinável em modelos pré-treinados, possibilitando o processamento eficiente de entradas longas. A equipe de pesquisa testou o TokenGate em vários benchmarks, incluindo RepoBench-P, 2WikiMultihopQA e NIAH, superando métodos existentes como FastKV e SlimInfer. O módulo utiliza uma porta aprendível para refinar os logits de atenção, permitindo o treinamento de ponta a ponta. A equipe também observou que o desempenho do TokenGate é atribuído à adaptação do backbone. O código e os checkpoints estão disponíveis no GitHub sob a licença Apache-2.0.