Nvidia resolve o gargalo de memória da IA com design completo, aumentando a taxa de transferência por dólar em 30x

A Nvidia detalhou recentemente uma estratégia para superar as crescentes pressões de memória da GPU, causadas pela rápida expansão de modelos e aplicações de agentes. Reconhecendo que as restrições de oferta e os custos crescentes da HBM persistirão, a empresa introduziu um conceito de design colaborativo completo, integrando GPU, CPU, rede, armazenamento e software para maximizar o valor de cada byte de memória. Esta arquitetura aborda o problema da 'parede de memória' – onde a velocidade de transferência de dados limita os ganhos de capacidade – otimizando o posicionamento dos dados. Implementações específicas incluem o uso do formato de baixa precisão NVFP4 para comprimir os pesos do modelo e os caches KV, a distribuição dos pesos do modelo em até 72 GPUs no sistema NVL72 e o aproveitamento da grande memória LPDDR do CPU Vera para o armazenamento de contexto. Os resultados de benchmark do SemiAnalysis AgentX mostram que o Vera Rubin NVL72 alcança um aumento de 30 vezes na taxa de transferência de agentes por dólar em comparação com o GB300 NVL72, apesar de apenas um modesto aumento de 3% na capacidade da HBM por GPU. Além disso, o GB300 NVL72 demonstrou uma melhoria de 10 vezes na taxa de transferência por dólar em relação à plataforma H200 sob condições específicas, indicando uma mudança no foco da competição em IA, de simplesmente o tamanho da memória para a geração eficaz de tokens por byte e watt.