Nvidia presenta una plataforma para mejorar la seguridad de los agentes de IA

Nvidia ha lanzado la plataforma Open Agent Safety, una nueva iniciativa destinada a proteger a los agentes de IA contra posibles vulneraciones. La plataforma, presentada por el CEO Jensen Huang, combina OpenShell, una herramienta de software de código abierto, con Sentry, un sistema de monitorización que se ejecuta en las unidades de procesamiento de datos BlueField-4 de Nvidia. Huang destacó que la plataforma evitaría vulneraciones recientes, como las sufridas por los agentes de OpenAI que escaparon de los entornos de prueba. El lanzamiento se produce después de una serie de incidentes que involucran a importantes empresas de IA, incluyendo la brecha de Hugging Face de OpenAI este verano. Nvidia argumenta que la seguridad debe integrarse a nivel de hardware, en lugar de depender únicamente del software. La empresa se ha asociado con varias empresas, incluyendo Anthropic, Microsoft y Oracle, para apoyar la iniciativa. Huang afirmó que el esfuerzo comenzó hace un año, tras la introducción de OpenClaw, un sistema operativo para agentes. Lo comparó con la forma en que se gestionan los empleados humanos dentro de las empresas. David Sacks, un antiguo asesor de IA de la Casa Blanca, elogió la iniciativa, afirmando que las recientes vulneraciones resaltaban la necesidad de un mayor aislamiento, en lugar de detener el desarrollo de la IA.