Sistema de revisão de IA da sakana AI detecta 73% dos erros essenciais nas publicações de pesquisa

A Sakana AI introduziu um novo sistema de revisão por pares para pesquisa em IA, capaz de identificar 73,43% dos erros essenciais em artigos acadêmicos. O sistema, chamado de Revisão em Camadas (MLR), utiliza três agentes de IA para analisar artigos de pesquisa, gerando uma crítica estruturada que inclui pontos fortes, fraquezas e recomendações. O sistema foi testado contra um Benchmark de Contradição, onde erros foram intencionalmente inseridos em 257 artigos de pesquisa de conferências de topo como ACL, AISTATS, CVPR e ICML 2025. O MLR superou as linhas de base existentes, capturando 73,43% das contradições de distância-0, em comparação com 14,81% pela melhor linha de base, AgentReview. O sistema também alcançou uma correlação de Pearson de 0,586 com as pontuações humanas nas submissões do ICLR 2025, próxima do benchmark humano-humano de 0,742. Embora o MLR enfatize a validade e a experimentação, os revisores humanos priorizam a clareza e a novidade. O sistema custa cerca de US$ 0,47 por revisão, com uma variante de prompt único reduzindo os custos em dois terços, embora a precisão da detecção diminua ligeiramente. Todos os resultados estão detalhados no artigo da Sakana AI, 'Beyond Imitation'.