NVIDIA melhora a velocidade de inferência do modelo kimi k3 com otimização vllm

Em 18 de outubro de 2026, a SemiAnalysis relatou que a NVIDIA melhorou a velocidade de inferência do modelo Kimi K3 de 2,8 trilhões de parâmetros em 1,68 vezes, utilizando uma otimização vLLM upstream. O modelo agora alcança 423 tokens por segundo por usuário no mesmo hardware (GB300 NVL72). A otimização foi desenvolvida pelo engenheiro da NVIDIA CentML, Benjamin, que implementou a fusão em grande escala do Megakernel usando o Cute DSL para escrever um kernel específico para decodificação. O Megakernel, consistindo em 12.000 linhas de código, representa uma direção para núcleos avançados de computação assistida por IA. A NVIDIA também está trabalhando na otimização de outros modelos, como o DeepSeek V4.1, para o vLLM.