Novo teste revela grandes desafios nas capacidades de interação em tempo real com IA

A NVIDIA e a Universidade do Texas em Austin (UT-Austin) lançaram o Realtime-Bench, um novo padrão de avaliação projetado para medir como modelos de IA de grande porte se comportam em ambientes dinâmicos e em rápida mudança, indo além de tarefas estáticas como geração de texto ou imagens. O teste avalia 50 tarefas em oito categorias, concentrando-se em três capacidades principais: percepção em tempo real, raciocínio adaptativo ao tempo e sincronização de ações. Testar 12 dos principais modelos globais revelou limitações significativas; o melhor desempenho, GPT-6-Astra, alcançou apenas uma taxa de sucesso de 44% quando o ambiente avançava de acordo com o tempo de raciocínio real. Análises adicionais indicaram que simplesmente aumentar o esforço de raciocínio não garante melhores resultados, nem a redução da latência de inferência sozinha resolve todos os problemas de interação do mundo real. Os resultados sugerem que equilibrar o pensamento profundo com a precisão do tempo permanece um desafio crítico para alcançar a Inteligência Artificial Geral (AGI).