El nuevo benchmark sson del laboratorio de IA de princeton revela una importante brecha entre la razón espacial 3d humana y la de la IA

El laboratorio de IA de la Universidad de Princeton ha presentado el benchmark SSoN, una nueva prueba diseñada para aislar y evaluar la capacidad de una IA para comprender el espacio 3D en condiciones estáticas y de visión cruzada, eliminando la influencia de la interacción dinámica. Las pruebas consistieron en pedir a los modelos que identificaran la imagen extraña entre cuatro escenas interiores estáticas. En esta tarea, los participantes humanos lograron una precisión del 83,3%, mientras que los mejores modelos de visión-lenguaje de uso general obtuvieron solo un 39,7%, con la mayoría de los modelos obteniendo un rendimiento peor que el azar, lo que destaca una debilidad fundamental en la capacidad geométrica actual de la IA. El análisis de los errores de los modelos señaló tres problemas: altas tasas de error en el razonamiento que involucraban transformaciones espaciales como la rotación, instancias en las que los modelos proporcionaban explicaciones ilógicas para las respuestas correctas (casi el 30% de los casos) y un rendimiento general inferior al azar. Los experimentos de intervención demostraron que, si bien proporcionar los parámetros de la cámara reales mejoraba el rendimiento, el ajuste supervisado dirigido era el más eficaz, lo que permitía a los modelos duplicar casi su precisión en habitaciones no vistas, lo que sugiere que la brecha es abordable a través de un entrenamiento enfocado.