Chip Jalapeño da OpenAI estabelece novos padrões em velocidade e eficiência da inferência de IA

A OpenAI anunciou que seu primeiro chip de inferência personalizado, Jalapeño, demonstrou um desempenho de ponta na inferência de IA, entregando maior taxa de transferência e menor latência em comparação com o hardware existente. O chip é capaz de lidar com mais trabalho de IA por unidade de energia, ao mesmo tempo em que fornece tempos de resposta mais rápidos. Isso é alcançado por meio de uma única arquitetura que evita o típico compromisso entre velocidade e eficiência encontrado em sistemas atuais. Os resultados dos testes do Jalapeño mostram melhorias significativas em vários modelos, incluindo GPT‑OSS 120B, DeepSeek R1 e Kimi K2.5 1T. Nestes modelos, o Jalapeño entregou de 1,5 a 1,9 vezes mais trabalho de IA por watt na taxa de transferência máxima e de 1,7 a 3,6 vezes menor latência de ponta a ponta em comparação com sistemas de comparação. Para cargas de trabalho altamente interativas, ele alcançou até 4,1 vezes melhor desempenho. O Jalapeño faz parte de uma vantagem abrangente de ponta a ponta para a OpenAI, que permite à empresa projetar modelos, produtos, software de implantação, chips, memória, rede e sistemas juntos. Essa abordagem integrada permite melhorias contínuas em todas as camadas da pilha de tecnologia. O chip também faz parte de uma plataforma multigeração, com futuras gerações em desenvolvimento. A performance do Jalapeño foi avaliada usando uma experiência do usuário correspondente, medindo quanta quantidade de trabalho de IA útil cada sistema pode completar por unidade de energia, atendendo aos requisitos de latência para clientes e agentes interativos. Isso é particularmente importante para agentes, que precisam completar muitos passos em sequência, onde atrasos podem se acumular em toda a tarefa. Para testar o desempenho do Jalapeño na prática, a OpenAI usou o benchmark InferenceX da SemiAnalysis, que mede todo o processo de servir uma solicitação de IA. O Jalapeño foi comparado com sistemas de IA comercialmente disponíveis líderes em uma variedade de condições de operação, desde o serviço de alta taxa de transferência até o uso altamente interativo e de baixa latência. Os resultados mostraram uma melhor combinação de taxa de transferência, eficiência de energia e latência, colocando o Jalapeño na fronteira de Pareto. A performance do Jalapeño também foi medida contra outros sistemas, como o GB200 e o GB300, com métricas específicas, incluindo tempo de resposta, tokens por segundo e desempenho misto por kilowatt. Por exemplo, no modelo GPT‑OSS 120B, o Jalapeño alcançou 0,69 milissegundos em comparação com 1,87 milissegundos para o GB200, com 535 tokens por segundo em comparação com 1.459 tokens por segundo. No modelo DeepSeek R1, o Jalapeño entregou 1,43 milissegundos em comparação com 5,90 milissegundos, com 700 tokens por segundo em comparação com 169 tokens por segundo. Para o modelo Kimi K2.5, o Jalapeño alcançou 1,44 milissegundos em comparação com 5,48 milissegundos, com 694 tokens por segundo em comparação com 182 tokens por segundo. O desenvolvimento do Jalapeño foi acelerado pela própria IA, que permitiu que a equipe passasse do design inicial para a produção em nove meses. A IA foi usada para explorar implementações, encurtar os loops de design, medição e verificação e iterar continuamente sobre as cargas de trabalho do modelo. Também ajudou a otimizar os circuitos aritméticos do chip, permitindo que a equipe encaixasse mais desempenho de computação no chip no prazo. O Jalapeño foi projetado como um alvo de programação claro e previsível para humanos e IA. Os engenheiros podem descrever o trabalho por meio de tensores locais, comunicação explícita e sincronização previsível. A IA pode então otimizar como esse trabalho é mapeado, colocado, agendado e coordenado no sistema. Essa estrutura fornece uma maneira tratável para que a IA lide com o problema tradicionalmente difícil da programação paralela. A flexibilidade da arquitetura do Jalapeño foi ainda demonstrada pela capacidade da equipe de trazer três modelos de peso aberto para alto desempenho em dois meses usando o Codex com GPT‑Astra. Para blocos de atenção e de mistura de especialistas GPT‑OSS selecionados, as implementações geradas por IA rodaram de 1,5 a 1,8 vezes mais rápido do que as escritas por especialistas humanos. A eficiência e o desempenho do Jalapeño são esperados para apoiar uma adoção mais ampla e investimentos contínuos em melhores modelos, produtos e infraestrutura. A OpenAI planeja começar a implantar o Jalapeño em sua infraestrutura de computação até o final do ano, com futuras gerações em desenvolvimento. Os resultados até agora destacam o potencial de projetar o sistema completo em conjunto para entregar IA mais responsiva, capaz e orientada a agentes de forma mais eficiente para mais pessoas.