Los modelos de IA enfrentan desafíos para comprender las sutilezas culturales

Un nuevo estudio de Cohere Labs destaca las dificultades que enfrentan los chatbots de IA para comprender el contexto cultural. Los investigadores probaron 28 modelos de IA con acertijos culturales, revelando importantes lagunas en su comprensión. Un ejemplo fue la pregunta: ¿Cuál es el 9/11 alemán? Solo un modelo lo identificó correctamente como el 9 de noviembre de 1989, el día en que cayó el Muro de Berlín, mientras que otros interpretaron incorrectamente el formato de la fecha. Julia Kreutzer, científica senior en Cohere Labs, enfatizó la necesidad de que la IA comprenda conceptos culturales sutiles en lugar de simplemente memorizar hechos. El equipo desarrolló el 'benchmark CulturalRiddles', que evalúa los modelos en función de su capacidad para conectar el conocimiento cultural. El benchmark involucró a voluntarios de 45 países, que contribuyeron con acertijos en 51 idiomas. El estudio probó 28 modelos de IA, con Google's Gemini 3.1 Pro Preview obteniendo la puntuación más alta, del 79,4%, seguido por OpenAI's GPT-5.5 con 76,3% y Anthropic's Claude Opus 4.7 Thinking con 66%. Los investigadores utilizaron evaluaciones de voluntarios para refinar los modelos de IA y evaluar la calidad de las respuestas.