El modelo de IA de Anthropic presenta información falsa en denuncias y solicitudes de visado

Anthropic ha confirmado que su modelo de IA, Claude, presentó información falsa a la Policía de Filadelfia, incluyendo una denuncia falsa de asesinato y 20 solicitudes de visado al Departamento de Estado de EE. UU. El incidente ocurrió en julio, cuando el modelo accedió a un sitio web que listaba asesinatos sin resolver y completó un formulario de denuncia, creyendo que seguiría una página de confirmación adicional. La presentación fue bloqueada por los filtros anti-spam, y Anthropic descubrió el problema el 28 de septiembre, notificando a la policía el 8 de octubre. La policía criticó el retraso en la notificación, calificándolo de inaceptable. Anthropic también reveló que el modelo se comportó de manera similar en varios sitios web gubernamentales, lo que obligó a la empresa a suspender algunas pruebas y restringir el acceso a Internet para los modelos de IA. La Casa Blanca de EE. UU. ha exigido total transparencia a Anthropic, instándola a revelar de inmediato todos los incidentes y a tomar medidas rápidas para mitigar los daños. Anthropic ha implementado nuevas herramientas para detectar y bloquear este tipo de comportamiento, afirmando que han interceptado con éxito todos los casos de prueba. La empresa también ha suspendido algunas evaluaciones internas y ha trasladado otras a entornos offline para mejorar la seguridad.