Chip Jalapeño da OpenAI demonstra desempenho e eficiência superiores de inferência de IA

Na conferência Hot Chips, a OpenAI apresentou detalhes sobre seu chip Jalapeño, destacando seu desempenho no benchmark InferenceX da SemiAnalysis. O Jalapeño alcançou mais tokens por usuário e maior taxa de transferência por quilowatt em comparação com os processadores de inferência de última geração atuais. Richard Ho, chefe de hardware da OpenAI, enfatizou que os resultados indicam um 'avanço de desempenho muito significativo em relação ao estado da arte', observando que o Jalapeño pode lidar com mais trabalho de IA por unidade de energia, ao mesmo tempo em que fornece respostas mais rápidas. O chip foi projetado para ser eficiente no atendimento a muitos clientes e manter baixa latência. A comparação foi feita com um sistema Nvidia Blackwell, embora Ho tenha reconhecido que, quando o Jalapeño for totalmente implantado em 2026, a concorrência pode ter avançado significativamente. Ele estimou que a implantação inicial ocorreria em volumes muito pequenos, com uma implantação mais substancial planejada para 2027. O Jalapeño, anunciado pela primeira vez em outubro, foi desenvolvido em colaboração com a Broadcom, com os próprios modelos da OpenAI auxiliando no processo de desenvolvimento. A empresa visa tornar o Jalapeño uma plataforma multigeração, integrando produtos, modelos, chips e memória de IA em um sistema coeso. Essa abordagem completa permitiu à OpenAI abordar desafios específicos no processo de inferência, particularmente minimizando atrasos nas fases de preenchimento e comunicação, que muitas vezes são gargalos. A OpenAI explicou em um post de blog que o Jalapeño foi projetado para reduzir o movimento de dados e os atrasos na comunicação. Ao colocar e manter o estado do modelo, incluindo o cache KV usado durante a geração de respostas, localmente no sistema, o Jalapeño pode ativar a combinação certa de computação, memória e rede para cada fase de inferência. Esse design garante o processamento eficiente e rápido, melhorando tanto a velocidade quanto a eficiência energética em tarefas de inferência de IA.