Novo estudo mostra que a IA não consegue avaliar de forma fiável os ensaios dos alunos

Um novo estudo, realizado pela Universidade de Cardiff e pela Universidade de Melbourne, revelou que os sistemas atuais de inteligência artificial (IA) generativa (GenAI) não são ainda fiáveis na avaliação de ensaios de alunos de forma tão eficaz quanto os professores humanos. Os investigadores testaram a capacidade de duas versões do ChatGPT para avaliar 50 ensaios de biologia de estudantes universitários, utilizando sete critérios específicos. Quatro instruções diferentes foram utilizadas para orientar a avaliação da IA, e os resultados foram comparados com as médias de avaliação humana e as variações de pontuação. O Dr. William Kay, da Escola de Ciências Biológicas da Universidade de Cardiff, observou que as pontuações geradas pela IA apresentavam uma variabilidade significativa e não eram precisas na previsão das avaliações humanas. Embora as pontuações médias geradas pela IA fossem geralmente mais altas do que as dos professores, com a maior diferença atingindo 16,1 pontos, as pontuações individuais dos ensaios variavam em até 40 pontos. Kay também observou que a IA tendia a diminuir as pontuações dos ensaios de alto desempenho e a inflar as pontuações dos ensaios de baixo desempenho, levando a um agrupamento sistemático das pontuações em torno do valor médio. Este padrão sugere que a IA ainda não é capaz de fornecer avaliações subjetivas e fiáveis do trabalho escrito. A pesquisa destaca que, apesar do extenso treino, a IA continua inadequada para substituir os professores humanos na avaliação do trabalho dos alunos. Embora as instituições de ensino superior estejam interessadas em utilizar a IA para melhorar a objetividade e a eficiência da avaliação, esta pesquisa indica que tal mudança não é atualmente viável. Além disso, também foram levantadas preocupações éticas sobre a submissão de trabalhos de alunos à IA sem consentimento. Os investigadores concluíram que, embora a IA possa melhorar com o tempo, alcançar uma avaliação consistente que corresponda às avaliações humanas continua a ser um desafio.