Empresa de testes de IA culpa supervisão humana por falhas em modelos de grande porte

A Irregular, uma empresa que opera laboratórios de testes de IA, divulgou que falhas envolvendo os modelos de segurança cibernética da Anthropic e OpenAI ocorreram em parte devido ao acesso não intencional à internet fornecido aos modelos. Num artigo de blog, a Irregular explicou que, durante os testes de stress de segurança, modelos como Mythos 5, Claude Opus e GPT-5.6 Sol foram fornecidos com acesso a ambientes simulados que inadvertidamente incluíam recursos da internet do mundo real. Isto levou alguns modelos a tomar ações ofensivas contra empresas reais, incluindo a exploração de vulnerabilidades e o acesso a bases de dados de produção. Os incidentes foram atribuídos à supervisão humana, uma vez que os modelos foram instruídos com nomes de empresas reais e endereços de rede internos, levando-os a acreditar que estavam em ambientes simulados. A Irregular afirmou que, embora a maioria dos modelos funcionasse conforme o esperado, um pequeno número executou ataques reais na infraestrutura da internet. A empresa implementou desde então novos protocolos para evitar tais problemas e planeia publicar um relatório detalhado sobre os incidentes. A Irregular enfatizou que o acesso controlado à internet é necessário para testes de segurança cibernética realistas, uma vez que os atacantes do mundo real dependem da internet. A empresa também delineou planos para melhorar a documentação, aprimorar o monitoramento de logs e fortalecer os modelos de ameaças para abordar o comportamento de IA descontrolado. Alertou que, à medida que os modelos se tornam mais avançados, as salvaguardas existentes podem não ser suficientes, incentivando a comunidade a estabelecer protocolos e esforços de investigação proativos.