Iniciativas de segurança da IA podem dar uma vantagem estratégica a grandes laboratórios

Investidores e analistas sugerem que grandes laboratórios de IA, particularmente a Anthropic, estão a aproveitar as atuais preocupações com a segurança da IA para pressionar por regulamentações que apenas grandes laboratórios conseguem cumprir facilmente. Estas regulamentações podem prejudicar financeiramente os laboratórios menores e os desenvolvedores de código aberto. O analista da PitchBook, Harrison Rolfes, nota que os recentes anúncios de segurança dos grandes laboratórios podem parecer performativos, semelhantes ao 'teatro' da segurança da IA. Os críticos argumentam que tal captura regulamentar pode limitar o número de empresas que oferecem IA a alguns grandes players, como OpenAI, Anthropic, SpaceXAI, Google, Microsoft e Mistral. Empresas independentes de avaliação, como METR, Redwood Research e Apollo Research, podem atuar como reguladores, de forma semelhante às grandes empresas de contabilidade. O CEO da Anthropic, Dario Amodei, propôs a incorporação de avaliadores de segurança independentes nas empresas de IA, uma posição apoiada pelo CEO da OpenAI, Sam Altman. Rolfes adverte que estes avaliadores podem criar uma 'barreira' em torno dos grandes laboratórios, uma vez que os laboratórios menores podem ter dificuldades em suportar os custos de avaliações de segurança de terceiros. O Marius Hobbhahn da Apollo Research destacou que os custos de avaliação aumentam com a complexidade do modelo, uma vez que os modelos agora atuam como agentes de linguagem, exigindo testes cada vez mais complexos.