Introdução ao LEANN: um índice vetorial leve para sistemas rag eficientes

Pesquisadores do Sky Computing Lab da UC Berkeley desenvolveram o LEANN, um índice vetorial de código aberto que reduz significativamente os requisitos de armazenamento para sistemas de geração aprimorada por recuperação (RAG). O índice, construído em torno do FAISS, elimina a necessidade de armazenar embeddings, recalculando-os no momento da consulta. Os resultados demonstram que um índice da Wikipedia com 60 milhões de pedaços, que originalmente ocupava 201 GB, pode ser reduzido para 6 GB. O artigo, que ganhou o prêmio de Melhor Artigo de Pesquisa no MLSys 2026, permite a pesquisa semântica e o RAG sobre dados pessoais em laptops. O LEANN utiliza um grafo podado e uma tabela compacta de quantização de produto, reconstruindo os embeddings sob demanda. Ele alcança um aumento de velocidade de 1,8x através do agrupamento e da pesquisa em dois níveis, embora a recomputação dos embeddings ainda represente 76% da latência da consulta. Em NQ, o LEANN atinge a mesma precisão do HNSW, utilizando 4 GB em vez de 188 GB de armazenamento. Também supera o BM25 em correspondência exata em até 11,8%. A ferramenta suporta várias aplicações, incluindo pesquisa de documentos, Apple Mail e exportações do ChatGPT. Ela funciona em várias plataformas e integra-se com Ollama, Hugging Face e APIs compatíveis com OpenAI. O repositório do GitHub e o pacote do PyPI estão disponíveis para exploração adicional.