Microsoft advierte a las empresas que protejan contra agentes de IA no confiables

Microsoft ha presentado nuevas herramientas de seguridad para ayudar a las empresas a gestionar los riesgos que plantean los agentes de IA, que ahora considera como posibles amenazas internas. La empresa ha introducido los Guardian Agents, parte del Proyecto Perception, un producto lanzado en junio. Esta iniciativa se diseñó inicialmente para contrarrestar modelos de hacking de IA externos como Mythos y Fable de Anthropic, y Daybreak de OpenAI. Sin embargo, el CEO de Microsoft, Satya Nadella, ha advertido recientemente que los agentes de IA desplegados por las propias empresas podrían plantear riesgos similares a los empleados deshonestos. En una publicación de blog privada, Nadella instó a las empresas a implementar sistemas independientes para supervisar y controlar los agentes de IA, enfatizando la necesidad de separar el suministro de inteligencia del control. El jefe de seguridad de Microsoft, Hayete Gallot, afirmó que los modelos de vanguardia son inherentemente impredecibles y no pueden ser confiados debido a su falta de adhesión a las normas organizativas. El enfoque de Microsoft incluye funciones como la detección de agentes en Microsoft Defender, que identifica hasta 60 tipos de agentes, y herramientas que limitan el acceso y ajustan dinámicamente los permisos. La empresa también está aprovechando las asociaciones, como su participación en la Plataforma de Seguridad de Agentes Abiertos de Nvidia, que aísla a los agentes en entornos seguros. Estos esfuerzos se alinean con la estrategia más amplia de Microsoft para posicionarse como líder en la seguridad de los agentes de IA, a pesar de sus estrechos vínculos con OpenAI y Anthropic.