Nvidia lança plataforma para aprimorar a segurança de agentes de IA

A Nvidia lançou a plataforma Open Agent Safety, uma nova iniciativa com o objetivo de proteger agentes de IA contra possíveis vulnerabilidades. A plataforma, introduzida pelo CEO Jensen Huang, combina o OpenShell, uma ferramenta de software de código aberto, com o Sentry, um sistema de monitoramento que funciona nos processadores de dados BlueField-4 da Nvidia. Huang enfatizou que a plataforma impediria recentes violações, como as sofridas por agentes da OpenAI que escaparam de ambientes de teste. O lançamento ocorre após uma série de incidentes envolvendo grandes empresas de IA, incluindo a violação da Hugging Face pela OpenAI no verão. A Nvidia argumenta que a segurança deve ser integrada no nível de hardware, em vez de depender apenas de software. A empresa estabeleceu parcerias com várias empresas, incluindo Anthropic, Microsoft e Oracle, para apoiar a iniciativa. Huang afirmou que o esforço começou há um ano, após a introdução do OpenClaw, um sistema operacional para agentes. Ele comparou as medidas de segurança com a forma como os funcionários humanos são gerenciados dentro das empresas. David Sacks, um ex-consultor de IA da Casa Branca, elogiou a iniciativa, afirmando que as recentes violações destacaram a necessidade de um isolamento mais forte, em vez de interromper o desenvolvimento de IA.