El jefe de política de hugging face advierte contra la dependencia de los métodos actuales de evaluación de la IA

Irene Solaiman, la directora de política de Hugging Face, advirtió en TechCrunch Disrupt que las evaluaciones actuales de los modelos de IA carecen de consistencia y reproducibilidad, lo que socava su fiabilidad. Enfatizó la necesidad de establecer criterios de evaluación estandarizados a medida que la industria se dirige hacia evaluadores externos, es decir, observadores de terceros ubicados dentro de las organizaciones de IA. Estos evaluadores, señaló, siguen sin ser probados, y existen preocupaciones sobre su neutralidad y eficacia. Solaiman destacó que las evaluaciones están evolucionando más allá de los modelos para incluir todo el sistema, como los marcos y los agentes, lo que tiene un impacto significativo en el rendimiento. Argumentó que el espacio de evaluación está fragmentado, y que un enfoque unificado de la industria es esencial para que la evaluación siga siendo una herramienta de confianza. La reciente decisión de Anthropic de contratar a Accenture como evaluador ha generado críticas, planteando preguntas sobre las cualificaciones de estas empresas.