La universidad tsinghua presenta el sistema AKV de código abierto para mejorar la eficiencia de los agentes de LLM

La Universidad Tsinghua y la Universidad de Hong Kong han abierto el código fuente de AKV, un nuevo sistema de servidor diseñado para optimizar la ingeniería de la caché KV para los agentes de modelos de lenguaje (LLM). El sistema permite a los agentes eliminar y reposicionar selectivamente las entradas de la caché KV, reduciendo la sobrecarga computacional al tiempo que se preserva la información crítica. En tres modelos y cuatro conjuntos de pruebas, AKV logró una reducción del 27,7 % en el coste medio y un aumento del 1,7 puntos en las puntuaciones de las tareas. El código, con licencia Apache-2.0, está construido con SGLang. AKV introduce tres operaciones de caché: añadir, eliminar y reposicionar, lo que permite una reutilización eficiente de las entradas retenidas sin necesidad de recalcular. Al evitar la necesidad de rellenar, el sistema mejora significativamente el rendimiento, especialmente en tareas de contexto largo. En el conjunto de pruebas BrowseComp-Plus, GPT-OSS-120B logró una tasa de éxito del 37 % con AKV, en comparación con el 24 % con el enfoque estándar. El sistema también admite interfaces sin estado compatibles con OpenAI, lo que permite a los clientes especificar qué mensajes eliminar o reposicionar. Las pruebas de servicio demostraron la eficiencia de AKV, con un rendimiento de salida y entrada 1,18x y 1,53x en comparación con otros métodos. En 100 tareas verificadas de SWE, AKV logró una tasa de éxito del 47 %, superando el 40,7 % del enfoque estándar. El repositorio de GitHub y el artículo del proyecto ahora están disponibles públicamente para su exploración.