Diretora de políticas da hugging face alerta contra a dependência de métodos atuais de avaliação de IA

Irene Solaiman, diretora de políticas da Hugging Face, alertou no TechCrunch Disrupt que os métodos atuais de avaliação de modelos de IA carecem de consistência e reprodutibilidade, minando sua confiabilidade. Ela enfatizou a necessidade de benchmarks padronizados, à medida que a indústria se move em direção a avaliadores—observadores de terceiros colocados dentro de organizações de IA. Estes avaliadores, ela observou, ainda não foram comprovados, com preocupações sobre sua neutralidade e eficácia. Solaiman destacou que as avaliações estão evoluindo para além dos modelos, para incluir todo o sistema, como ferramentas e agentes, o que tem um impacto significativo no desempenho. Ela argumentou que o espaço de avaliação é fragmentado, e uma abordagem unificada da indústria é essencial para que a avaliação permaneça uma ferramenta confiável. A recente decisão da Anthropic de contratar a Accenture como avaliadora gerou críticas, levantando questões sobre a qualificação dessas empresas.