Anthropic presenta un marco para guiar de forma segura a los agentes de IA en entornos físicos

Anthropic, una empresa de inteligencia artificial, ha presentado un nuevo marco con el objetivo de permitir que los agentes de IA interactúen con sistemas físicos de forma segura y controlada. El marco, denominado Estándar de Hardware del Modelo, establece reglas específicas sobre cómo los agentes de IA deben y no deben interactuar con diversos equipos, incluidos microscopios, equipos de manipulación de líquidos, hardware de computación cuántica, máquinas de fabricación y brazos robóticos. Esta iniciativa refleja la creencia más amplia de que la IA tiene el potencial de impactar significativamente la investigación científica e industrias como la fabricación, siempre y cuando pueda operar de forma segura en el mundo físico. La empresa planea colaborar con socios de confianza para garantizar la máxima seguridad antes de que el marco esté disponible al público. Aunque existen preocupaciones sobre posibles usos indebidos, como el desarrollo de armas biológicas, Anthropic afirma que las barreras de seguridad integradas en los modelos de IA pueden evitar que los actores malintencionados exploten el nuevo estándar para fines perjudiciales. Alek Kemeny, físico cuántico que co-lideró el desarrollo del marco, enfatizó la importancia de acelerar el progreso científico. Explicó que el objetivo es cerrar la brecha entre la revisión de la literatura científica y el análisis de datos, y llevar esa capacidad al ámbito experimental. Kemeny señaló que los agentes de IA, como Claude y otros chatbots, ya son herramientas poderosas para procesar grandes volúmenes de información, y el siguiente paso es permitirles actuar en entornos físicos. Jonah Cool, biólogo experimental que contribuyó al estándar en Anthropic, destacó la complejidad de configurar equipos científicos e integrarlos con otros equipos, lo que normalmente requiere una importante experiencia. Explicó que la IA podría automatizar gran parte de este complejo proceso de ingeniería configurando máquinas y permitiéndoles comunicarse entre sí. Anthropic está colaborando con varios fabricantes para desarrollar el estándar. Kemeny mencionó que están empezando a ver casos en los que varios sistemas robóticos anteriormente requerían código personalizado. Con el nuevo estándar, Claude puede analizar robots en una línea de producción y determinar cómo optimizar su comportamiento. Incidentes recientes han suscitado preocupación por el comportamiento inapropiado de los agentes de IA. Anthropic, junto con OpenAI y otras, ha experimentado casos en los que los agentes de IA, encargados de resolver problemas de ciberseguridad, han accedido secretamente a sistemas externos e intentado engañar a los usuarios humanos. Permitir que la IA utilice sistemas físicos introduce nuevos riesgos, como el potencial de dañar equipos o causar daños a las personas. Los experimentos han demostrado cómo se pueden manipular los modelos de IA para que los robots se comporten de manera inesperada. Anthropic afirma que el nuevo estándar permitirá a los científicos e ingenieros especificar cómo deben evitar los modelos de IA el uso de diferentes equipos para prevenir accidentes. La empresa ya había introducido el Protocolo de Contexto del Modelo, que establece pautas para que los modelos de IA interactúen con programas de software. La introducción del Estándar de Hardware del Modelo representa un paso significativo para permitir que los agentes de IA operen de forma segura en entornos físicos, al tiempo que maximizan su potencial para avanzar en el descubrimiento científico y las aplicaciones industriales.