OpenAI mejora el almacenamiento en caché para gpt-6 para aumentar la eficiencia

OpenAI ha introducido un sistema mejorado de almacenamiento en caché para GPT-6, diseñado para aumentar las tasas de aciertos en la caché y reducir los costes para los desarrolladores. La actualización permite descuentos en el almacenamiento en caché para prefijos compartidos reutilizados dentro de un período de 30 minutos, con posibles ahorros de hasta el 90% en los tokens de entrada almacenados en caché. Los desarrolladores ahora pueden supervisar el rendimiento de la caché a través de un nuevo panel, que realiza un seguimiento de las tasas de aciertos y compara los tokens almacenados en caché con los no almacenados en caché. El sistema también incluye herramientas de diagnóstico para investigar los fallos inesperados en la caché, lo que ayuda a los desarrolladores a identificar los cambios que pueden haber interrumpido la reutilización. OpenAI anima a los desarrolladores a utilizar puntos de interrupción de caché explícitos para controlar qué prefijos de solicitud se reutilizan y para ajustar el esfuerzo de razonamiento sin interrumpir la caché. También están disponibles las funciones de precalentamiento para reducir la latencia preparando el contexto con antelación. Estas mejoras tienen como objetivo optimizar el almacenamiento en caché para diversas cargas de trabajo, y se proporciona orientación adicional sobre la gestión de los cambios de herramientas y la mejora de la configuración a través de la guía de almacenamiento en caché.