Anthropic propõe avaliadores de segurança independentes, mas especialistas questionam a independência e o poder de fiscalização
O CEO da Anthropic, Dario Amodei, propôs a incorporação de avaliadores de segurança independentes de terceiros nas principais empresas de IA, concedendo-lhes acesso às equipas internas de risco e a autoridade para publicar os resultados. Ele citou os reguladores bancários como um modelo, prometendo acesso ao sistema equivalente às equipas internas. No entanto, os reguladores bancários têm maior poder de fiscalização, incluindo a capacidade de interromper as operações ou encerrar instituições, de acordo com Julie Andersen Hill da Faculdade de Direito da Universidade de Wyoming.
Especialistas como Albert Ziegler da XBOW notaram que os testes de 'caixa preta' podem não identificar riscos complexos, e que os avaliadores não têm poder de veto. Deborah Raji da UC Berkeley criticou o arranjo por potenciais conflitos de interesse, argumentando que o METR, um potencial avaliador, tem se concentrado principalmente na Anthropic e na OpenAI, levantando preocupações sobre a independência. Raji enfatizou que uma supervisão real requer um corpo independente para decidir sobre as avaliações e aplicar as consequências, e não apenas o acesso.
Sarah Heck da Anthropic reconheceu que a auto-regulação através de 'códigos honoríficos' é insuficiente, destacando a necessidade de supervisão externa.