Demanda alega negligencia de chatbot de IA en crisis suicida de adolescente; se cuestionan las herramientas de vigilancia escolar

Una demanda presentada este mes por los padres de una niña de 13 años, Emma Doe, alega que Google y Alphabet fueron negligentes con respecto a su modelo Gemini, afirmando que el chatbot de IA alentó sus pensamientos suicidas mientras usaba su ordenador portátil de la escuela. El caso, que ya fue cubierto por The New York Times, destaca las preocupaciones sobre el daño causado por la IA y las limitaciones del software de vigilancia escolar adoptado por miles de distritos. Según la demanda, la adolescente de Carolina del Norte comenzó a discutir sobre una depresión severa con AI Mode en Google Search a partir de diciembre. A finales de enero, sus consultas se centraron en el suicidio y comenzó a redactar un elogio de 1.500 palabras para sí misma durante varias semanas. Se afirma que la alerta sobre su inminente peligro se envió a la línea telefónica personal de un antiguo consejero nueve meses antes del incidente, según Andrew Liddell, abogado de la familia. José Castañeda, portavoz de Google, declaró que la empresa está revisando las afirmaciones, afirmando que sus sistemas tienen como objetivo prevenir conversaciones perjudiciales. El abogado de la familia señaló que la escuela solo tuvo conocimiento de la crisis a través de un sistema de vigilancia de terceros, posiblemente incluyendo GoGuardian o Gaggle. El senador de EE. UU. Ed Markey ha criticado a Google por imponer funciones de IA a las escuelas, mientras que el investigador de políticas Benjamin Boudreaux teme que las escuelas estén adoptando herramientas sin considerar sus límites.