El chip Jalapeño de OpenAI demuestra un rendimiento y eficiencia superiores en la inferencia de IA

En la conferencia Hot Chips, OpenAI presentó información detallada sobre su chip Jalapeño, destacando su rendimiento en el benchmark InferenceX de SemiAnalysis. Jalapeño logró un mayor número de tokens por usuario y una mayor capacidad de procesamiento por kilovatio en comparación con los procesadores de inferencia de última generación. Richard Ho, jefe de hardware de OpenAI, enfatizó que los resultados indican un 'avance de rendimiento muy, muy significativo con respecto al estado del arte', y señaló que Jalapeño puede realizar más tareas de IA por unidad de potencia, al tiempo que ofrece respuestas más rápidas. El chip está diseñado para ser eficiente para atender a muchos clientes y mantener una baja latencia. La comparación se realizó con un sistema Nvidia Blackwell, aunque Ho reconoció que para cuando Jalapeño esté completamente desplegado a finales de 2026, la competencia podría haber avanzado significativamente. Estimó que el despliegue inicial se produciría en muy pequeñas cantidades, con un despliegue más sustancial previsto para 2027. Jalapeño, anunciado por primera vez en octubre, se desarrolló en colaboración con Broadcom, con los propios modelos de OpenAI ayudando en el proceso de desarrollo. La empresa tiene como objetivo que Jalapeño sea una plataforma multigeneracional, integrando productos, modelos, chips y memoria de IA en un sistema cohesivo. Este enfoque integral permitió a OpenAI abordar desafíos específicos en el proceso de inferencia, particularmente minimizando los retrasos durante las fases de prellenado y comunicación, que a menudo son cuellos de botella. OpenAI explicó en una entrada de blog que Jalapeño estaba diseñado para reducir el movimiento de datos y los retrasos en la comunicación. Al colocar y mantener explícitamente el estado del modelo, incluida la caché KV utilizada durante la generación de respuestas, localmente en el sistema, Jalapeño puede activar la combinación adecuada de computación, memoria y red para cada fase de inferencia. Este diseño garantiza un procesamiento eficiente y rápido, mejorando tanto la velocidad como la eficiencia energética en las tareas de inferencia de IA.