OpenAI ajusta as pontuações de referência para o gpt-6 astra, gerando debate sobre os padrões de avaliação de IA

A OpenAI revisou repetidamente as pontuações de referência para o seu modelo GPT-6 Astra, com algumas métricas mostrando mudanças significativas. A empresa enfrentou inicialmente problemas técnicos ao lançar a publicação no blog em 3 de setembro de 2026, mas acabou por publicar o conteúdo com resultados atualizados. Algumas métricas, como a taxa de alucinações, diminuíram significativamente de 4,2% para 2%, antes de retornarem aos seus valores originais. A OpenAI afirma que as alterações refletem melhorias no desempenho do modelo e são baseadas em diferentes condições de teste. No entanto, os críticos argumentam que as alterações frequentes podem indicar tentativas de otimizar as pontuações, uma prática conhecida como 'benchmaxxing'. Especialistas como Anka Reuel e Mike Hardy, da Universidade de Stanford, destacam que a falta de transparência da OpenAI nos métodos de teste levanta preocupações. Eles observam que, embora pequenas alterações nas pontuações de código sejam comuns, a recusa da empresa em divulgar detalhes sobre o seu processo de avaliação alimenta o ceticismo. Enquanto isso, o Fable 5.1 da Anthropic também viu flutuações nas pontuações, com o seu desempenho em matemática a diminuir de 87,8% para 78% antes de se recuperar. A OpenAI mantém que todos os resultados são baseados em testes rigorosos, mas a indústria permanece dividida quanto a se estas pontuações refletem com precisão o desempenho no mundo real.