Buoyant lanza Kinference: un plano de control de código abierto para kubernetes y vllm

Buoyant, el desarrollador de Linkerd, ha presentado Kinference, un plano de control de inferencia de código abierto diseñado para gestionar plataformas construidas sobre Kubernetes y vLLM. Este sistema funciona como una capa sobre el servidor de modelos, aplicando políticas de enrutamiento, límites de tasa de tokens y balanceo de carga consciente de KV en un conjunto de trabajadores vLLM. Kinference está licenciado bajo Apache 2.0 y actualmente está disponible en la versión v0.1.0-alpha.7. Kinference opera separando el plano de datos (vLLM) del plano de control (Kinference). Utiliza cinco Definiciones de Recursos Personalizadas (CRD) - GatewayBackend, InferencePolicy, InferencePool, InferenceProvider y InferenceWorkerSet - y supervisa los eventos de KV-cache de vLLM utilizando el crate dynamo-kv-router de NVIDIA. Las políticas de inferencia permiten reglas declarativas para enrutar o rechazar solicitudes en función de criterios como el estado del inquilino o del grupo de GPU. Las pruebas realizadas por Buoyant demostraron importantes ganancias de rendimiento en comparación con el balanceo de carga estándar de Kubernetes ClusterIP Service. En cargas de trabajo con prefijos compartidos, la latencia final media se redujo en un 45%, y el buen rendimiento alcanzó los 103,0 solicitudes por minuto en comparación con las 14,0 req/min de la línea base. La empresa señala que, si bien competidores como llm-d y Dynamo sobresalen en el rendimiento bruto de la inferencia, la principal ventaja de Kinference radica en sus funciones de gobernanza, incluyendo la contabilidad de inquilinos y la caída de proveedores.