NVIDIA mejora la velocidad de inferencia del modelo kimi k3 mediante la optimización vllm

El 18 de octubre de 2026, SemiAnalysis informó que NVIDIA había mejorado la velocidad de inferencia del modelo Kimi K3 de 2.8 billones de parámetros en un 1,68 veces utilizando una optimización vLLM de nivel superior. El modelo ahora alcanza 423 tokens por segundo por usuario en el mismo hardware (GB300 NVL72). La optimización fue desarrollada por el ingeniero de NVIDIA CentML, Benjamin, quien implementó la fusión a gran escala de Megakernel utilizando Cute DSL para escribir un kernel específico para la decodificación. El Megakernel, que consta de 12.000 líneas de código, representa una dirección para kernels avanzados de computación asistida por IA. NVIDIA también está trabajando en optimizar otros modelos como DeepSeek V4.1 para vLLM.