Redis introduce langcache: un caché semántico para llms que reduce los costes hasta en un 90%

Redis ha lanzado LangCache, un servicio de caché semántico gestionado diseñado para reducir los costes de las API de LLM hasta en un 90% y acelerar las coincidencias en caché hasta en 15 veces. El servicio opera entre la aplicación y el modelo, emparejando las solicitudes entrantes según el significado en lugar del texto exacto, evitando así llamadas redundantes al modelo. LangCache se encuentra actualmente en una versión pública en Redis Cloud, accesible a través de la API REST con SDKs de Python y JavaScript. El sistema almacena las respuestas generadas y utiliza la base de datos vectorial de Redis para gestionar el comportamiento del caché a través de umbrales, TTLs y políticas de expulsión. En una demostración, LangCache devolvió una respuesta en 0,37 segundos, en comparación con los 2,232 segundos de la inferencia directa. Redis afirma que las coincidencias en caché eliminan los costes de los tokens de entrada y salida, con un ahorro mensual estimado calculado como (Costes mensuales de los tokens de salida) x (Tasa de coincidencias en caché). Un estudio de caso de Mangoes.ai informó de una reducción del 70% en el gasto en LLMs con respuestas 4 veces más rápidas. Redis enfatiza la importancia de umbrales bien ajustados y el aislamiento de datos, garantizando que las coincidencias en caché sean tanto precisas como eficientes. El servicio está disponible en redis.io/langcache, con recursos adicionales en las redes sociales y una calculadora de ahorro para estimaciones anuales.