Modelos de IA enfrentam desafios na compreensão de nuances culturais

Um novo estudo da Cohere Labs destaca as dificuldades que os chatbots de IA enfrentam para compreender o contexto cultural. Os pesquisadores testaram 28 modelos de IA com enigmas culturais, revelando lacunas significativas em sua compreensão. Um exemplo foi a pergunta: 'Qual é o 9/11 alemão?' Apenas um modelo identificou corretamente como 9 de novembro de 1989, o dia em que a muralha de Berlim caiu, enquanto os outros interpretaram incorretamente o formato da data. Julia Kreutzer, pesquisadora sênior da Cohere Labs, enfatizou a necessidade de a IA compreender conceitos culturais sutis, em vez de simplesmente memorizar fatos. A equipe desenvolveu o benchmark 'CulturalRiddles', que avalia os modelos com base em sua capacidade de conectar o conhecimento cultural. O benchmark envolveu voluntários de 45 países, que contribuíram com enigmas em 51 idiomas. O estudo testou 28 modelos de IA, com o Google's Gemini 3.1 Pro Preview alcançando a pontuação mais alta de 79,4%, seguido pelo OpenAI's GPT-5.5 com 76,3% e o Anthropic's Claude Opus 4.7 Thinking com 66%. Os pesquisadores utilizaram avaliações de voluntários para refinar os modelos de IA e avaliar a qualidade das respostas.