El chip Jalapeño de OpenAI establece nuevos estándares en la velocidad y eficiencia de la inferencia de IA

OpenAI ha anunciado que su primer chip de inferencia personalizado, Jalapeño, ha demostrado un rendimiento líder en la industria en la inferencia de IA, ofreciendo un mayor rendimiento y menor latencia en comparación con el hardware existente. El chip es capaz de realizar más trabajo de IA por unidad de potencia, al tiempo que proporciona tiempos de respuesta más rápidos. Esto se logra a través de una arquitectura única que evita el típico compromiso entre velocidad y eficiencia que se encuentra en los sistemas actuales. Los resultados de las pruebas de Jalapeño muestran mejoras significativas en varios modelos, incluidos GPT‑OSS 120B, DeepSeek R1 y Kimi K2.5 1T. En estos modelos, Jalapeño entregó entre 1,5 y 1,9 veces más trabajo de IA por vatio en el punto máximo de rendimiento y entre 1,7 y 3,6 veces menor latencia de extremo a extremo en comparación con los sistemas de referencia. Para cargas de trabajo altamente interactivas, logró un rendimiento hasta 4,1 veces superior. Jalapeño es parte de una ventaja integral para OpenAI, lo que permite a la empresa diseñar modelos, productos, software de servidor, chips, memoria, redes y sistemas juntos. Este enfoque integrado permite mejoras continuas en todas las capas de la pila de tecnología. El chip también es parte de una plataforma multigeneracional, con futuras generaciones en desarrollo. El rendimiento de Jalapeño se evaluó utilizando una experiencia de usuario comparada, midiendo la cantidad de trabajo de IA útil que cada sistema puede completar por unidad de potencia, cumpliendo los requisitos de latencia para los clientes y los agentes interactivos. Esto es particularmente importante para los agentes, que necesitan completar muchos pasos en secuencia, donde los retrasos pueden acumularse en toda la tarea. Para probar el rendimiento de Jalapeño en la práctica, OpenAI utilizó el conjunto de datos de referencia InferenceX de SemiAnalysis, que mide todo el proceso de servir una solicitud de IA. Jalapeño se comparó con los sistemas de IA comercialmente disponibles líderes en una variedad de condiciones de funcionamiento, desde el servicio de alto rendimiento hasta el uso altamente interactivo y de baja latencia. Los resultados mostraron una mejor combinación de rendimiento, eficiencia energética y latencia, colocando a Jalapeño en el límite de Pareto. También se midió el rendimiento de Jalapeño contra otros sistemas, como los GB200 y GB300, con métricas específicas que incluyen tiempo de respuesta, tokens por segundo y rendimiento mixto por kilovatio. Por ejemplo, en el modelo GPT‑OSS 120B, Jalapeño logró 0,69 milisegundos frente a 1,87 milisegundos para GB200, con 535 tokens por segundo frente a 1.459 tokens por segundo. En el modelo DeepSeek R1, Jalapeño entregó 1,43 milisegundos frente a 5,90 milisegundos, con 700 tokens por segundo frente a 169 tokens por segundo. Para el modelo Kimi K2.5, Jalapeño logró 1,44 milisegundos frente a 5,48 milisegundos, con 694 tokens por segundo frente a 182 tokens por segundo. El desarrollo de Jalapeño se aceleró gracias a la propia IA, que permitió al equipo pasar de la fase de diseño inicial a la producción en nueve meses. La IA se utilizó para explorar implementaciones, acortar los bucles de diseño, medición y verificación, e iterar continuamente en las cargas de trabajo del modelo. También ayudó a optimizar los circuitos aritméticos del chip, lo que permitió al equipo integrar más rendimiento de cómputo en el chip según lo previsto. Jalapeño se diseñó como un objetivo de programación claro y predecible tanto para humanos como para IA. Los ingenieros pueden describir el trabajo a través de tensores locales, comunicación explícita y sincronización predecible. La IA puede entonces optimizar cómo se mapea, coloca, programa y coordina ese trabajo en todo el sistema. Esta estructura proporciona una forma tratable para que la IA aborde el tradicional problema de programación en paralelo. La flexibilidad de la arquitectura de Jalapeño se demostró aún más por la capacidad del equipo para llevar tres modelos de código abierto a un alto rendimiento en dos meses utilizando Codex con GPT‑Astra. Las implementaciones generadas por IA de bloques de atención y mezcla de expertos de GPT‑OSS específicos funcionaron entre 1,5 y 1,8 veces más rápido que las escritas por expertos humanos. Se espera que la eficiencia y el rendimiento de Jalapeño apoyen una adopción más amplia e inversiones continuas en mejores modelos, productos e infraestructura. OpenAI planea comenzar a implementar Jalapeño dentro de su infraestructura de cómputo a finales de año, con futuras generaciones en desarrollo. Los resultados hasta ahora destacan el potencial de diseñar todo el sistema juntos para ofrecer IA más receptiva, capaz y orientada a agentes de manera más eficiente a más personas.