Universidade tsinghua revela sistema AKV de código aberto para aumentar a eficiência de agentes LLM

A Universidade Tsinghua e a Universidade de Hong Kong disponibilizaram o AKV, um novo sistema de servindo projetado para otimizar a engenharia de cache KV para agentes de modelos de linguagem (LLM). O sistema permite que os agentes descartem e reposicionem entradas de cache KV de forma seletiva, reduzindo a sobrecarga computacional, ao mesmo tempo em que preservam informações críticas. Em três modelos e quatro benchmarks, o AKV alcançou uma redução de 27,7% nos custos médios e um aumento de 1,7 pontos nas pontuações de tarefas. O código, licenciado sob a licença Apache-2.0, é construído em SGLang. O AKV introduz três operações de cache – adicionar, descartar e reposicionar – que permitem o reaproveitamento eficiente de entradas retidas sem necessidade de recálculo. Ao evitar a necessidade de preencher novamente, o sistema melhora significativamente o desempenho, especialmente em tarefas de contexto longo. No benchmark BrowseComp-Plus, o GPT-OSS-120B alcançou uma taxa de aprovação de 37% com o AKV, em comparação com 24% com a abordagem padrão. O sistema também suporta interfaces estáticas compatíveis com a OpenAI, permitindo que os clientes especifiquem quais mensagens descartar ou reposicionar. Testes de servindo demonstraram a eficiência do AKV, com uma taxa de saída e entrada de 1,18x em comparação com outros métodos. Em 100 tarefas VERIFICADAS do SWE-bench, o AKV alcançou uma taxa de aprovação de 47%, superando a taxa de 40,7% da abordagem padrão. O repositório GitHub e o artigo do projeto estão agora disponíveis publicamente para exploração adicional.