Nvidia aumenta significativamente a velocidade de inferência moe no dgx spark em 42,5% usando três otimizações-chave

A NVIDIA detalhou um método para acelerar significativamente a inferência de modelos de mistura de especialistas (MoE) no sistema de desktop DGX Spark, alcançando um aumento de 42,5% na taxa de transferência ao executar o modelo Ling-3.0-flash da Ant Group através de 1.319 perguntas GSM8K. Essa melhoria de desempenho foi alcançada combinando três otimizações distintas: um novo backend do kernel Humming MoE, uma camada FP8 online para a cabeça do modelo de linguagem e decodificação especulativa MTP utilizando a camada NEXTN integrada do modelo. Enquanto a linha de base funcionava a 36,09 tokens por segundo, as otimizações combinadas impulsionaram a taxa de transferência para 53,89 tokens por segundo no benchmark GSM8K, reduzindo o tempo por token de saída de 26,45 ms para 18,56 ms. As otimizações funcionam de forma sinérgica; o Humming sozinho proporcionou um aumento de 9,3% para 39,45 tokens por segundo, e a adição da cabeça FP8 do LM aumentou isso para 43,94 tokens por segundo. A componente de decodificação especulativa forneceu o maior salto, aumentando a taxa de transferência em 185,1% para 102,88 tokens por segundo em dados sintéticos. O próprio DGX Spark possui um Grace Blackwell Superchip GB10, oferecendo 128 GB de memória unificada e suportando a inferência para modelos com até 200B parâmetros. O Ling-3.0-flash, um modelo MoE de 124B, está disponível em vários formatos quantizados, e a inclusionAI lista sua API a $0,075 por 1M de tokens de entrada.