Nuevo estándar revela importantes obstáculos en las capacidades de interacción de IA en tiempo real

NVIDIA y la Universidad de Texas en Austin (UT-Austin) han lanzado Realtime-Bench, un nuevo estándar de evaluación diseñado para medir cómo funcionan los modelos de IA de gran tamaño en entornos dinámicos y en constante cambio, superando las tareas estáticas como la generación de texto o imágenes. El estándar evalúa 50 tareas en ocho categorías, centrándose en tres capacidades principales: percepción en tiempo real, razonamiento adaptativo al tiempo y sincronización de acciones. Las pruebas de 12 de los modelos líderes a nivel mundial revelaron importantes limitaciones; el mejor modelo, GPT-6-Astra, solo logró una tasa de éxito del 44% cuando el entorno avanzaba según el tiempo de razonamiento real. Un análisis posterior indicó que simplemente aumentar el esfuerzo de razonamiento no garantiza mejores resultados, ni tampoco reducir la latencia de inferencia por sí solo puede resolver todos los problemas de interacción del mundo real. Los hallazgos sugieren que equilibrar la profunda reflexión con una sincronización precisa sigue siendo un desafío crítico para lograr la Inteligencia Artificial General (IAG).