Nuevo estudio muestra que la IA no es fiable en la evaluación de ensayos de estudiantes

Un nuevo estudio realizado por la Universidad de Cardiff y la Universidad de Melbourne ha descubierto que los sistemas actuales de inteligencia artificial (IA) generativa (GenAI) no son actualmente fiables para evaluar ensayos de estudiantes de forma tan eficaz como los profesores humanos. Los investigadores probaron la capacidad de dos versiones de ChatGPT para evaluar 50 ensayos de biología de estudiantes universitarios utilizando siete criterios específicos. Se utilizaron cuatro indicaciones diferentes para guiar la evaluación de la IA, y los resultados se compararon con las calificaciones promedio y las variaciones de los profesores humanos. El Dr. William Kay, del Departamento de Ciencias Biológicas de la Universidad de Cardiff, señaló que las puntuaciones generadas por la IA mostraban una variabilidad significativa y no eran precisas para predecir las evaluaciones humanas. Si bien las puntuaciones promedio generales de la IA eran generalmente más altas que las de los profesores, con la mayor diferencia alcanzando los 16,1 puntos, las puntuaciones individuales de los ensayos variaban hasta en 40 puntos. Kay también observó que la IA tendía a reducir las puntuaciones de los ensayos de alto rendimiento y a inflar las de los de bajo rendimiento, lo que provocaba un agrupamiento sistemático de las puntuaciones alrededor del promedio. Este patrón sugiere que la IA aún no es capaz de proporcionar evaluaciones subjetivas y fiables del trabajo escrito. El estudio destaca que, a pesar del extenso entrenamiento, la IA sigue siendo inadecuada para reemplazar a los profesores humanos en la evaluación del trabajo de los estudiantes. Si bien las instituciones de educación superior están interesadas en utilizar la IA para mejorar la objetividad y la eficiencia de la evaluación, esta investigación indica que este cambio no es actualmente factible. Además, también se plantearon las preocupaciones éticas sobre la presentación de trabajos de estudiantes a la IA sin su consentimiento. Los investigadores concluyeron que, si bien la IA puede mejorar con el tiempo, lograr una evaluación consistente que coincida con las evaluaciones humanas sigue siendo un desafío.