AMD adquire Taalas para acelerar inferência de IA com chips especializados

A AMD adquiriu a startup Taalas como parte do seu esforço para desafiar a dominância da Nvidia no hardware de IA. A empresa grava pesos de modelos de aprendizagem automática diretamente no silício, permitindo uma produtividade de inferência significativamente superior. Testes iniciais demonstraram a capacidade do chip HC1 em servir o modelo Llama 3.1 8B da Meta a 16.960 tokens por segundo usando o processo de fabricação 6nm da TSMC, alcançando 48 vezes mais produtividade que GPUs Nvidia e 8,5 vezes a de aceleradores Cerebras quando foi lançado. O próximo chip HC2, esperado este verão, suportará 20 mil milhões de parâmetros. A estratégia da AMD envolve combinar aceleradores Taalas com a sua infraestrutura de rack Helios, onde GPUs Instinct se focam no processamento computacionalmente intensivo de prompts enquanto delegam a geração de tokens aos processadores baseados em Taalas.