Nvidia aborda el cuello de botella de la memoria de la IA con un diseño integral, aumentando el rendimiento por dólar en 30 veces

Nvidia ha detallado recientemente una estrategia para superar las crecientes presiones de memoria de las GPU, causadas por la rápida expansión de los modelos y las aplicaciones de agentes. Reconociendo que las restricciones de suministro y los costos crecientes de HBM persistirán, la empresa ha introducido un concepto de diseño colaborativo integral, que integra la GPU, la CPU, la red, el almacenamiento y el software para maximizar el valor de cada byte de memoria. Esta arquitectura aborda el problema de la 'pared de la memoria' —donde la velocidad de transferencia de datos limita las ganancias de capacidad— optimizando la ubicación de los datos. Las implementaciones específicas incluyen el uso del formato de baja precisión NVFP4 para comprimir los pesos del modelo y las cachés KV, la distribución de los pesos del modelo en hasta 72 GPU en el sistema NVL72, y el aprovechamiento de la gran memoria LPDDR de la CPU Vera para el almacenamiento en búfer de contexto. Los resultados de pruebas de SemiAnalysis AgentX muestran que el Vera Rubin NVL72 logra un aumento de 30 veces en el rendimiento por dólar del agente en comparación con el GB300 NVL72, a pesar de solo un modesto aumento del 3% en la capacidad de HBM por GPU. Además, el GB300 NVL72 demostró una mejora del 10 veces en el rendimiento por dólar sobre la plataforma H200 en condiciones específicas, lo que indica un cambio en el enfoque de la competencia en la IA, pasando de un simple tamaño de memoria a la generación efectiva de tokens por byte y vatio.