Benchmark sson do labor de IA da universidade de princeton revela lacuna significativa entre a razão espacial 3d humana e a de IA

O Laboratório de IA da Universidade de Princeton introduziu o benchmark SSoN, um novo teste projetado para isolar e avaliar a capacidade de uma IA de compreender o espaço 3D em condições estáticas e de visão cruzada, removendo a influência da interação dinâmica. Os testes envolveram a solicitação aos modelos para identificar a imagem anômala entre quatro cenas internas estáticas. Nesta tarefa, os participantes humanos alcançaram uma precisão de 83,3%, enquanto os melhores modelos de visão-linguagem de ponta obtiveram apenas 39,7%, com a maioria dos modelos apresentando um desempenho inferior ao do acaso, destacando uma fraqueza fundamental na capacidade de raciocínio geométrico das atuais IAs. A análise dos erros dos modelos apontou para três problemas: altas taxas de erro no raciocínio envolvendo transformações espaciais como rotação, casos em que os modelos forneciam explicações logicamente inválidas para respostas corretas (em quase 30% dos casos) e um desempenho geral abaixo do acaso. Experimentos de intervenção mostraram que, embora a fornecimento de parâmetros de câmera reais melhorasse o desempenho, o ajuste fino supervisionado foi mais eficaz, permitindo que os modelos quase dobrassem sua precisão em salas não vistas, sugerindo que a lacuna pode ser abordada através de treinamento direcionado.