Pruebas de referencia nuevas evalúan a los agentes de IA en el análisis complejo de datos del laboratorio

Se ha introducido una nueva herramienta de evaluación, BioBasicsBench, para evaluar la eficacia con la que los agentes de inteligencia artificial pueden interpretar los datos brutos, a menudo ambiguos, que se encuentran en el trabajo de laboratorio biológico rutinario. Desarrollada en colaboración con Ligo, una empresa de biotecnología especializada en el diseño de enzimas, la prueba consta de 100 tareas que abarcan cinco áreas: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. La prueba evalúa a los agentes en la interpretación de la evidencia bruta: como imágenes de gel, pilas de microscopía y exportaciones de lectores de placas, y en el reconocimiento de cuándo los datos son insuficientes para llegar a una conclusión. Al evaluar siete modelos, incluidos GPT-6 Astra y GPT-5.6 Sol, la evaluación implicó 18.500 resultados en 37 configuraciones de modelo y esfuerzo de razonamiento. En la configuración de razonamiento más alta, GPT-6 Astra obtuvo una puntuación promedio del 66,7%, superando significativamente al GPT-5.6 Sol, que obtuvo un 43,8%. Los resultados destacan que los modelos avanzados como Astra muestran capacidades mejoradas para manejar datos multimodales y discernir el contexto experimental. Por ejemplo, Astra identificó correctamente un error en una placa de control de clonación de ADN debido a una etiqueta de antibiótico incorrecta, mientras que GPT-5.6 Sol no lo detectó. Además, Astra demostró una capacidad mejorada para reconocer las limitaciones de los datos, como cuando el contraste de la imagen puede invertirse cambiando el enfoque, evitando conclusiones infundadas.