Las GPU antiguas de NVIDIA superan a los sistemas más nuevos en pruebas de inferencia de IA

Un canal de YouTube probó cuatro GPU Tesla V100, instaladas en una placa NVLink, y descubrió que superaban a dos sistemas DGX Spark y a un chip M5 Ultra en las pruebas de rendimiento de inferencia de IA. Las V100, lanzadas en 2017, ejecutaron el modelo Qwen3.8-Flash-Next con cuantificación de 4 bits, logrando un aumento de velocidad del 40% sobre DGX Spark y un aumento del 230% sobre el M5 Ultra. La configuración utilizó un disipador modificado de A100 para gestionar el consumo de energía y conectó las V100 a través de PCIe x8. Los resultados sugieren que la optimización del software puede desempeñar un papel importante en las diferencias de rendimiento entre Apple Silicon y otras plataformas. En el procesamiento de prompts, el clúster de V100 mantuvo una ventaja del 40% sobre DGX Spark y una ventaja del 163% sobre el M5 Ultra. Las V100 también lograron 100,6 tokens por segundo en las pruebas de generación de tokens, superando a DGX Spark en un 121%. La prueba destaca la relevancia continua de la tecnología de GPU heredada en la inferencia de IA, incluso a medida que los sistemas más nuevos como DGX Spark y el M5 Ultra de Apple ganan terreno.