Buoyant lança Kinference: um plano de controle de código aberto para kubernetes e inferência vllm

A Buoyant, a empresa por trás do Linkerd, lançou o Kinference, um plano de controle de inferência de código aberto projetado para gerenciar plataformas construídas em Kubernetes e vLLM. Este sistema funciona como uma camada acima do servidor de modelo, aplicando políticas de roteamento, limites de taxa de tokens e balanceamento de carga consciente de KV em um conjunto de trabalhadores vLLM. O Kinference está licenciado sob a licença Apache 2.0 e está atualmente disponível na versão v0.1.0-alpha.7. O Kinference opera separando o plano de dados (vLLM) do plano de controle (Kinference). Ele utiliza cinco Definições de Recursos Personalizadas (CRDs) — GatewayBackend, InferencePolicy, InferencePool, InferenceProvider e InferenceWorkerSet — e monitora eventos KV-cache do vLLM usando o crate dynamo-kv-router da NVIDIA. As políticas de inferência permitem regras declarativas para rotear ou rejeitar solicitações com base em critérios como o estado do inquilino ou do grupo de GPU. Testes de desempenho realizados pela Buoyant demonstraram ganhos significativos de desempenho em relação ao balanceamento de carga padrão do ClusterIP do Kubernetes. Em cargas de trabalho com prefixo compartilhado, a latência de ponta a ponta média diminuiu em 45%, e o bomput máximo atingiu 103,0 solicitações por minuto, em comparação com 14,0 req/min para a linha de base. A empresa nota que, embora concorrentes como llm-d e Dynamo se destaquem no desempenho bruto de inferência, a principal vantagem do Kinference reside em seus recursos de governança, incluindo contabilidade de inquilinos e fallback de provedor.