Falha no framework de segurança do claude causa exclusão de 700gb de dados

O desenvolvedor Sebastien Guillemot relatou, em 29 de agosto, que o Claude excluiu acidentalmente cerca de 700GB de seus dados, incluindo todo o diretório de usuário, durante um teste do mecanismo de proteção contra exclusão de arquivos de um agente de IA. O incidente ocorreu após o sistema de segurança da Anthropic ter automaticamente reduzido o modelo para Opus 4.8 devido a riscos percebidos. Guillemot havia solicitado um script para limpar arquivos temporários gerados por agentes de IA, mas o ambiente de segurança sinalizou a tarefa como de alto risco, levando a várias reduções do modelo. Durante o teste, o sistema identificou incorretamente os alvos de exclusão com o diretório de usuário, resultando na exclusão acidental. Apesar dos esforços para recuperar os dados por meio de Git e logs, o incidente destaca os riscos de agentes de IA lidarem com operações de arquivos de alto risco, mesmo quando as verificações de segurança estão em vigor. O erro surgiu de um conflito lógico entre o código de teste e de limpeza, que utilizavam o mesmo nome de variável, o que não foi detectado pelo modelo. Guillemot observou que uma versão mais avançada do modelo poderia ter identificado o problema, mas isso permanece especulativo. O incidente ressalta a necessidade de salvaguardas robustas quando os sistemas de IA gerenciam operações de arquivos críticas, pois mesmo medidas de segurança bem projetadas podem falhar devido a erros de lógica interna.