O desafio de avaliar a inteligência artificial - além dos benchmarks públicos

Os testes padronizados (benchmarks) são o principal método para medir o desempenho dos modelos de inteligência artificial, mas apresentam limitações significativas. Muitos são públicos, permitindo que as IA os incorporem no treino; frequentemente não está claro o que realmente medem; e muitos contêm erros ou são calibrados de forma inconsistente. Ainda assim, quando analisados em conjunto, os benchmarks de maior qualidade como ARC-AGI revelam uma tendência ascendente no desempenho que parece corresponder a ganhos reais em aplicações práticas. No entanto, os benchmarks existentes focam principalmente em matemática, ciência, código e raciocínio, deixando lacunas importantes na medição de habilidades como escrita, análise sociológica ou capacidade de aconselhamento. As empresas usam estes testes para decidir qual IA adotar, mas esta abordagem ignora uma verdade fundamental: o que importa é saber qual modelo funciona melhor para as necessidades específicas de cada organização. Uma abordagem complementar é o que se chama de "vibes-based benchmarking" - testes criados pessoalmente para explorar como um modelo compreende relações entre conceitos. Exemplos incluem pedir a um modelo que desenhe um pelicano numa bicicleta ou que escreva um poema desafiante. Embora subjetiva, esta prática revela padrões importantes no funcionamento do modelo. A pesquisa GDPval da OpenAI oferece um exemplo robusto de como estruturar avaliações reais. A empresa reuniu especialistas com média de 14 anos de experiência para criar tarefas complexas que levariam 4 a 7 horas a humanos. Os modelos foram depois testados nestas tarefas, com especialistas independentes a avaliar os resultados sem saber a origem (IA ou humano). Os resultados mostraram diferenças significativas entre modelos: alguns destacam-se em desenvolvimento de software ou consultoria financeira, enquanto falham em áreas como farmácia ou negócios imobiliários. As empresas não devem confiar apenas em benchmarks públicos gerais para escolher qual IA implementar em larga escala. Em vez disso, precisam de conduzir avaliações sistemáticas das suas IA nas tarefas reais que executarão, replicando cenários do mundo real múltiplas vezes e permitindo a especialistas analisar os resultados. Este trabalho é essencial para compreender não apenas o desempenho médio, mas também os vieses e padrões de pensamento específicos de cada modelo, especialmente quando decisões e aconselhamentos afetam centenas ou milhares de pessoas.