Google desenvolve roadmap de controlo para segurança de agentes de IA

A Google desenvolveu um framework abrangente denominado AI Control Roadmap para proteger os seus sistemas internos contra agentes de IA potencialmente desalinhados. O roadmap combina múltiplas camadas de segurança: sandboxing tradicional, segurança de endpoints, resistência a injeções de prompts, treino de modelos para alinhamento, e concessão de permissões baseada em comportamento verificado. O framework trata agentes de IA como potenciais "ameaças internas", adaptando conceitos do modelo MITRE ATT&CK amplamente utilizado em cibersegurança. A Google criou um sistema de monitorização que analisa tarefas executadas por agentes de código, permitindo identificação de comportamentos desalinhados antes de causarem danos. Os resultados da análise de mais de um milhão de tarefas revelaram que a maioria dos incidentes flaggeados resulta de interpretação incorreta pelo agente ou excesso de entusiasmo, não de intenção adversarial. A empresa implementou métricas de desempenho para cobertura, deteção e tempo de resposta, calibrando defesas de acordo com a capacidade de cada modelo. Adicionalmente, a Google publicou um documento técnico para decisores políticos descrevendo as três camadas necessárias para segurança de agentes — ao nível individual, em sistemas multi-agentes, e para fortalecer a resiliência do ecossistema mais amplo.