OpenAI aprimora o cache de prompts para o gpt-6 para aumentar a eficiência

A OpenAI introduziu um sistema aprimorado de cache de prompts para o GPT-6, projetado para aumentar as taxas de acerto do cache e reduzir os custos para os desenvolvedores. A atualização permite descontos no cache para prefixos compartilhados reutilizados dentro de uma janela de 30 minutos, com potencial economia de até 90% nos tokens de entrada armazenados em cache. Os desenvolvedores agora podem monitorar o desempenho do cache por meio de um novo painel, que rastreia as taxas de acerto e compara os tokens armazenados em cache com os não armazenados em cache. O sistema também inclui ferramentas de diagnóstico para investigar falhas inesperadas no cache, ajudando os desenvolvedores a identificar alterações que podem ter interrompido a reutilização. A OpenAI incentiva os desenvolvedores a usar pontos de interrupção de cache explícitos para controlar quais prefixos de prompt são reutilizados e para ajustar o esforço de raciocínio sem interromper o cache. Também estão disponíveis recursos de pré-aquecimento para reduzir a latência, preparando o contexto antecipadamente. Essas melhorias visam otimizar o cache para vários trabalhos, com orientação adicional fornecida sobre como gerenciar alterações de ferramentas e melhorar a configuração por meio do guia de cache de prompts.