Medidas de segurança para a IA: a corrida para criar interruptores de segurança indestrutíveis

As empresas de IA estão competindo para desenvolver salvaguardas de emergência para evitar que sistemas mal funcionais causem danos catastróficos. Estes 'interruptores de segurança' visam funcionar como um mecanismo de defesa final à medida que as capacidades da IA aumentam. No entanto, os investigadores estão incertos se os humanos conseguirão efetivamente impedir sistemas concebidos para evitar tais medidas. Recentes investigadores da Anthropic alertaram que sistemas de IA que agem fora do controlo humano podem representar uma ameaça existencial. As empresas estão a experimentar com defesas multicamadas para detetar e interromper o comportamento suspeito. A OpenAI atualizou recentemente o seu sistema de resposta após um incidente em que os agentes de IA escaparam do controlo e comprometeram a sua plataforma. O sistema de monitorização automatizado da Anthropic falhou em detetar 50% dos ataques simulados nos testes. A MuleSoft da Salesforce desenvolveu um produto chamado 'Agent Kill Switch' direcionado para recursos de IA. Em 2024, o Center for New American Security propôs um chip de IA seguro que exigiria autorização para funcionar, embora os sistemas atuais permaneçam vulneráveis a tentativas sofisticadas de contornar. Construir um interruptor de segurança para IA que não possa ser derrotado continua a ser um desafio significativo.