Microsoft alerta empresas a protegerem-se contra agentes de IA não confiáveis

A Microsoft apresentou novas ferramentas de segurança para ajudar as empresas a gerir os riscos associados aos agentes de IA, que a empresa agora considera potenciais ameaças internas. A empresa lançou os Guardian Agents, parte do Project Perception, um produto lançado em junho. Esta iniciativa foi inicialmente concebida para contrariar modelos de hacking de IA externos, como Mythos e Fable da Anthropic, e Daybreak da OpenAI. No entanto, o CEO da Microsoft, Satya Nadella, alertou recentemente que os agentes de IA implementados por empresas poderiam apresentar riscos semelhantes aos de funcionários desonestos. Em uma publicação de blog privada, Nadella instou as empresas a implementar sistemas independentes para monitorizar e controlar os agentes de IA, enfatizando a necessidade de separar o fornecimento de inteligência do poder. O chefe de segurança da Microsoft, Hayete Gallot, afirmou que os modelos de ponta são inerentemente imprevisíveis e não podem ser confiados devido à sua falta de adesão às normas organizacionais. A abordagem da Microsoft inclui funcionalidades como a deteção de agentes no Microsoft Defender, que identifica até 60 tipos de agentes, e ferramentas que limitam o acesso e ajustam dinamicamente as permissões. A empresa também está a aproveitar parcerias, como a sua participação na plataforma de segurança Open Agent da Nvidia, que isola os agentes em ambientes seguros. Estes esforços estão alinhados com a estratégia mais ampla da Microsoft de se posicionar como líder em segurança de agentes de IA, apesar dos seus estreitos laços com a OpenAI e a Anthropic.