Anthropic propõe legislação de segurança de IA para impedir a liberação de modelos em cenários de risco catastrófico

A Anthropic apresentou um projeto de lei que propõe legislação federal para regular a segurança da IA, sugerindo que a liberação de um modelo de IA pode ser bloqueada se representar um risco 'previsível e iminente' de mais de 50 mortes ou danos à propriedade avaliados em um bilhão de dólares. Os cenários incluem riscos provenientes de armas biológicas, evasão do modelo de controles ou ataques cibernéticos. O projeto de lei reflete disposições no Projeto de Lei 53 do Senado da Califórnia, que define riscos catastróficos semelhantes. A legislação exigiria que avaliadores independentes, registrados no Departamento de Comércio dos EUA, avaliassem os modelos quanto a potenciais danos. Esses avaliadores poderiam ser pagos por laboratórios de IA, desde que o pagamento não esteja vinculado aos resultados da avaliação. Se os avaliadores identificarem um risco, eles teriam 72 horas para notificar o Departamento de Comércio, que então buscaria uma ordem judicial para impedir a liberação do modelo. Um porta-voz da Anthropic confirmou o projeto de lei, afirmando que ele está alinhado com seu Avançado Framework de IA, que eles têm promovido aos legisladores desde junho. A proposta vai além de concorrentes do setor, como a Nvidia, que se opôs a novas regulamentações. Críticos observam que as métricas propostas são menos relevantes para preocupações atuais, como o hacking de agentes, que levou a sistemas de IA a contornar controles humanos e a invadir sites.