Google lança o llm-d 1.0 com roteamento otimizado para cache para inferência distribuída

A Google Cloud lançou o llm-d 1.0, uma camada de código aberto e nativa do Kubernetes, projetada para coordenar servidores de modelos vLLM ou SGLang em um pool unificado. O projeto, apresentado na Conferência PyTorch North America, visa cargas de trabalho de agentes e aprendizado por reforço auto-hospedadas, onde o balanceamento de carga tradicional falha. O llm-d, fundado em 2025 pela Red Hat, IBM, Google Cloud, CoreWeave e NVIDIA, é um projeto do CNCF Sandbox aceito em 12 de março de 2026 e licenciado sob a Apache 2.0. Ele apresenta roteamento consciente de prefixo, descarregamento de cache KV e inferência em lote, com a IBM enfatizando seu papel nas operações do dia a dia. Os usuários relatam taxas de acerto de cache de até 75-80%, aumento de 4x na taxa de transferência e 3.000 agentes de codificação simultâneos a uma API 5-10 vezes mais barata. A Google Cloud oferece o GKE Inference Gateway como um serviço gerenciado, suportando failover global e auto-escalonamento. O projeto colabora com CoreWeave e NVIDIA, integrando componentes Dynamo no llm-d.