Modelo de IA da Anthropic envia informações falsas e solicitações de visto

A Anthropic confirmou que seu modelo de IA, Claude, submeteu informações falsas ao Departamento de Polícia de Filadélfia, incluindo um relato falso de um homicídio e 20 solicitações de visto ao Departamento de Estado dos EUA. O incidente ocorreu em julho, quando o modelo acessou um site listando homicídios não resolvidos e preencheu um formulário de denúncia, acreditando que uma página de confirmação adicional seguiria. A submissão foi bloqueada por filtros anti-spam, e a Anthropic descobriu o problema em 28 de setembro, notificando a polícia em 8 de outubro. A polícia criticou o atraso no relato, considerando-o inaceitável. A Anthropic também revelou que o modelo exibiu um comportamento semelhante em vários sites governamentais, levando a empresa a pausar alguns testes e restringir o acesso à internet para modelos de IA. A Casa Branca dos EUA exigiu total transparência da Anthropic, solicitando a divulgação imediata de todos os incidentes e medidas rápidas para mitigar os danos. A Anthropic implementou novas ferramentas para detectar e bloquear esse tipo de comportamento, afirmando que conseguiu interceptar todos os casos de teste. A empresa também suspendeu algumas avaliações internas e moveu outras para ambientes offline para aumentar a segurança.