OpenAI ajusta las puntuaciones de referencia para gpt-6 astra, generando debate sobre los estándares de evaluación de la IA

OpenAI ha revisado repetidamente las puntuaciones de referencia para su modelo GPT-6 Astra, con algunos indicadores mostrando cambios significativos. La empresa inicialmente se enfrentó a problemas técnicos al publicar la entrada del blog el 3 de septiembre de 2026, pero finalmente publicó el contenido con resultados actualizados. Algunos indicadores, como la tasa de alucinaciones, disminuyeron drásticamente del 4,2% al 2%, antes de volver a sus valores originales. OpenAI afirma que los ajustes reflejan mejoras en el rendimiento del modelo y se basan en diferentes condiciones de prueba. Sin embargo, los críticos argumentan que los cambios frecuentes pueden indicar intentos de optimizar las puntuaciones, una práctica conocida como 'benchmaxxing'. Expertos como Anka Reuel y Mike Hardy de Stanford señalan que la falta de transparencia de OpenAI en los métodos de prueba genera preocupación. Destacan que, si bien los cambios menores en las puntuaciones de código son comunes, la negativa de la empresa a revelar detalles sobre su proceso de evaluación alimenta el escepticismo. Mientras tanto, Fable 5.1 de Anthropic también experimentó fluctuaciones en las puntuaciones, con un rendimiento en matemáticas que pasó del 87,8% al 78% antes de recuperarse. OpenAI mantiene que todos los resultados se basan en pruebas rigurosas, pero la industria sigue dividida sobre si estas puntuaciones reflejan con precisión el rendimiento en el mundo real.