Nvidia aumenta la velocidad de inferencia de moe en dgx spark en un 42,5 % gracias a tres optimizaciones clave

NVIDIA ha detallado un método para acelerar significativamente la inferencia de modelos de mezcla de expertos (MoE) en el sistema de escritorio DGX Spark, logrando un aumento del 42,5 % en el rendimiento al ejecutar el modelo Ling-3.0-flash de Ant Group inclusionAI en 1.319 preguntas de GSM8K. Esta mejora de rendimiento se logró combinando tres optimizaciones distintas: un nuevo backend de kernel Humming MoE, una capa FP8 en línea para la cabeza del modelo de lenguaje, y decodificación especulativa MTP utilizando la capa NEXTN integrada del modelo. Mientras que la configuración base funcionaba a 36,09 tokens por segundo, las optimizaciones combinadas impulsaron el rendimiento a 53,89 tokens por segundo en el conjunto de datos GSM8K, reduciendo el tiempo por token de salida de 26,45 ms a 18,56 ms. Las optimizaciones funcionan de forma sinérgica: Humming solo proporcionó un aumento del 9,3 % hasta 39,45 tokens por segundo, y la adición de la cabeza FP8 del LM aumentó esto a 43,94 tokens por segundo. El componente de decodificación especulativa proporcionó el mayor aumento, aumentando el rendimiento en un 185,1 % hasta 102,88 tokens por segundo en datos sintéticos. El propio DGX Spark cuenta con un Superchip GB10 Grace Blackwell, que ofrece 128 GB de memoria unificada y soporta la inferencia para modelos de hasta 200B parámetros. Ling-3.0-flash, un modelo MoE de 124B, está disponible en varios formatos cuantificados, y inclusionAI enumera su API a $0,075 por 1M de tokens de entrada.