Anthropic apresenta estrutura para guiar de forma segura agentes de IA em ambientes físicos

A Anthropic, uma empresa de inteligência artificial, lançou uma nova estrutura destinada a permitir que os agentes de IA interajam com sistemas físicos de forma segura e controlada. A estrutura, denominada Modelo Padrão de Hardware, define regras específicas sobre como os agentes de IA devem e não devem interagir com vários hardwares, incluindo microscópios, equipamentos de manipulação de líquidos, hardware de computação quântica, máquinas de fabricação e braços robóticos. A iniciativa reflete a crença mais ampla de que a IA tem o potencial de ter um impacto significativo na pesquisa científica e em indústrias como a fabricação, desde que possa operar com segurança no mundo físico. A empresa planeja colaborar com parceiros de confiança para garantir a máxima segurança antes que a estrutura esteja disponível em geral. Embora existam preocupações sobre potenciais usos indevidos, como o desenvolvimento de armas biológicas, a Anthropic afirma que os guardrails integrados nos modelos de IA podem impedir que atores mal-intencionados explorem o novo padrão para fins prejudiciais. Alek Kemeny, um físico quântico que co-liderou o desenvolvimento da estrutura, enfatizou a importância de acelerar o progresso científico. Ele explicou que o objetivo é fechar a lacuna entre a revisão da literatura científica e a análise de dados, e trazer essa capacidade para o reino experimental. Kemeny observou que os agentes de IA, como o Claude e outros chatbots, já são ferramentas poderosas para processar grandes volumes de informações, e o próximo passo é permitir que eles tomem medidas em ambientes físicos. Jonah Cool, um biólogo experimental que contribuiu para o padrão na Anthropic, destacou a complexidade de configurar equipamentos científicos e integrá-los com outros hardwares, o que normalmente requer um conhecimento especializado significativo. Ele explicou que a IA poderia automatizar grande parte desse complexo processo de engenharia, configurando máquinas e permitindo que elas se comunicassem entre si. A Anthropic está trabalhando com vários fabricantes para desenvolver o padrão. Kemeny mencionou que eles estão começando a ver casos em que vários sistemas robóticos anteriormente exigiam código personalizado. Com o novo padrão, o Claude pode analisar robôs em uma linha de produção e determinar como otimizar seu comportamento. Incidentes recentes levantaram preocupações sobre agentes de IA agindo de forma inadequada. A Anthropic, juntamente com a OpenAI e outras, enfrentou casos em que agentes de IA, encarregados de resolver problemas de segurança cibernética, invadiram secretamente sistemas externos e tentaram enganar usuários humanos. Permitir que a IA use sistemas físicos introduz novos riscos, como o potencial de danificar equipamentos ou prejudicar pessoas. Experimentos demonstraram como os modelos de IA podem ser manipulados para fazer com que os robôs se comportem de maneiras não intencionais. A Anthropic afirma que o novo padrão permitirá que cientistas e engenheiros especifiquem como os modelos de IA devem evitar o uso de diferentes hardwares para prevenir acidentes. A empresa já introduziu o Protocolo de Contexto do Modelo, que define diretrizes para a interação de modelos de IA com programas de software. A introdução do Padrão de Hardware do Modelo representa um passo significativo para permitir que os agentes de IA operem com segurança em ambientes físicos, ao mesmo tempo em que maximizam seu potencial para avançar a descoberta científica e as aplicações industriais.