Presentando LEANN: un índice vectorial ligero para sistemas rag eficientes

Los investigadores del Laboratorio de Computación del Cielo de la UC Berkeley han desarrollado LEANN, un índice vectorial de código abierto que reduce significativamente los requisitos de almacenamiento para los sistemas de generación asistida por recuperación (RAG). El índice, basado en FAISS, elimina la necesidad de almacenar incrustaciones, recalculándolas en tiempo de consulta. Las pruebas muestran que un índice de Wikipedia de 60 millones de fragmentos, que originalmente ocupaba 201 GB, ahora ocupa solo 6 GB. El artículo, que ganó el premio al mejor artículo de investigación en MLSys 2026, permite la búsqueda semántica y el RAG sobre datos personales en portátiles. LEANN utiliza un grafo optimizado y una tabla compacta de cuantificación de productos, recalculando las incrustaciones bajo demanda. Logra una mejora de velocidad de 1.8x a través del procesamiento por lotes y la búsqueda de dos niveles, aunque el recalculo de las incrustaciones sigue representando el 76% de la latencia de la consulta. En NQ, LEANN iguala a HNSW en precisión, utilizando 4 GB en lugar de 188 GB de almacenamiento. También supera a BM25 en coincidencias exactas hasta en un 11,8%. La herramienta admite múltiples aplicaciones, incluyendo la búsqueda de documentos, Apple Mail y exportaciones de ChatGPT. Funciona en varias plataformas e integra con Ollama, Hugging Face y APIs compatibles con OpenAI. El repositorio de GitHub y el paquete de PyPI están disponibles para su exploración adicional.