Redis introduz o langcache: um cache semântico para llms que reduz custos em até 90%

A Redis lançou o LangCache, um serviço de cache semântico gerenciado projetado para reduzir os custos da API do LLM em até 90% e acelerar as taxas de acerto do cache em até 15 vezes. O serviço opera entre a aplicação e o modelo, correspondendo às solicitações de entrada com base no significado, em vez de texto exato, evitando assim chamadas redundantes ao modelo. O LangCache está atualmente em pré-visualização pública no Redis Cloud, acessível através da API REST com SDKs Python e JavaScript. O sistema armazena as respostas geradas e utiliza o banco de dados vetorial do Redis para gerenciar o comportamento do cache através de limites de similaridade, TTLs e políticas de remoção. Em uma demonstração, o LangCache retornou uma resposta em 0,37 segundos, em comparação com 2,232 segundos para inferência direta. A Redis afirma que os acertos do cache eliminam os custos de tokens de entrada e saída, com economias mensais estimadas calculadas como (Custos mensais de tokens de saída) x (Taxa de acerto do cache). Um estudo de caso da Mangoes.ai relatou uma redução de 70% nos gastos com LLMs com respostas 4 vezes mais rápidas. A Redis enfatiza a importância de limites bem ajustados e isolamento de dados, garantindo que os acertos do cache sejam precisos e eficientes. O serviço está disponível em redis.io/langcache, com recursos adicionais nas redes sociais e uma calculadora de economia para estimativas anuais.