El sistema de revisión de IA de sakana AI detecta el 73% de los errores fundamentales en los artículos de investigación

Sakana AI ha introducido un nuevo sistema de revisión por pares para la investigación de IA, capaz de identificar el 73,43% de los errores fundamentales en los artículos académicos. El sistema, llamado Revisión Multicapa (MLR), utiliza tres agentes de IA para analizar los artículos de investigación, generando una crítica estructurada que incluye fortalezas, debilidades y recomendaciones. El sistema se probó contra un Benchmark de Contradicción, donde se plantaron errores intencionalmente en 257 artículos de investigación de las principales conferencias como ACL, AISTATS, CVPR e ICML 2025. MLR superó a las líneas de base existentes, capturando el 73,43% de las contradicciones de distancia-0, en comparación con el 14,81% de la mejor línea de base, AgentReview. El sistema también logró una correlación de Pearson de 0,586 con las puntuaciones humanas en las presentaciones de ICLR 2025, lo que se acerca al estándar humano-a-humano de 0,742. Si bien MLR enfatiza la validez y la experimentación, los revisores humanos priorizan la claridad y la novedad. El sistema cuesta aproximadamente 0,47 dólares por revisión, con una variante de un solo mensaje que reduce los costes en dos tercios, aunque la precisión de la detección disminuye ligeramente. Todos los resultados se detallan en el artículo de Sakana AI, 'Más allá de la imitación'.