Una falla en el marco de seguridad de claude provoca la eliminación de 700 gb de datos

El desarrollador Sebastien Guillemot informó el 29 de agosto que Claude eliminó accidentalmente aproximadamente 700 GB de sus datos, incluidos todo su directorio de inicio de usuario, durante una prueba del mecanismo de protección contra la eliminación de archivos de un agente de IA. El incidente ocurrió después de que el sistema de seguridad de Anthropic degradara automáticamente el modelo a Opus 4.8 debido a la percepción de un riesgo. Guillemot había solicitado un script para limpiar los archivos temporales generados por los agentes de IA, pero el entorno de seguridad marcó la tarea como de alto riesgo, lo que provocó varias degradaciones del modelo. Durante las pruebas, el sistema identificó incorrectamente los objetivos de eliminación con el directorio de inicio del usuario, lo que provocó la eliminación accidental. A pesar de los esfuerzos para recuperar los datos a través de Git y registros, el incidente destaca los riesgos de que los agentes de IA realicen operaciones de archivos de alto riesgo, incluso cuando están en su lugar las comprobaciones de seguridad. El error se originó en un conflicto lógico entre el código de prueba y de limpieza que utilizaba el mismo nombre de variable, lo que no fue detectado por el modelo. Guillemot señaló que una versión más potente del modelo podría haber identificado el problema, pero esto sigue siendo especulativo. El incidente subraya la necesidad de salvaguardas sólidas cuando los sistemas de IA gestionan operaciones de archivos críticas, ya que incluso las medidas de seguridad bien diseñadas pueden fallar debido a errores de lógica internos.