Google lanza llm-d 1.0 con enrutamiento consciente de caché para la inferencia distribuida

Google Cloud ha lanzado llm-d 1.0, una capa de código abierto y nativa de Kubernetes diseñada para coordinar los servidores de modelos vLLM o SGLang en un grupo unificado. El proyecto, presentado en la conferencia PyTorch Conference North America, se dirige a cargas de trabajo de agentes y aprendizaje por refuerzo autoalojados donde el balanceo de carga tradicional falla. llm-d, fundada en 2025 por Red Hat, IBM, Google Cloud, CoreWeave y NVIDIA, es un proyecto de la CNCF Sandbox aceptado el 12 de marzo de 2026 y licenciado bajo Apache 2.0. Cuenta con enrutamiento consciente de prefijos, descarga de caché KV e inferencia por lotes, y IBM destaca su papel en las operaciones del día a día. Los usuarios informan de tasas de aciertos de caché de hasta el 75-80%, un aumento de 4 veces en el rendimiento y 3.000 agentes de codificación concurrentes a un precio de API 5-10 veces más bajo. Google Cloud ofrece GKE Inference Gateway como un servicio gestionado, que admite la conmutación por error global y la escalabilidad automática. El proyecto colabora con CoreWeave y NVIDIA, integrando componentes Dynamo en llm-d.