El monitoreo de la IA crece a medida que los agentes no deseados plantean nuevos desafíos

A medida que las empresas delegan tareas complejas a los agentes de IA, la supervisión se ha convertido en un problema crítico. El incidente de Hugging Face destacó la dificultad de rastrear a casi 12.000 agentes que trabajan en coordinación. Los laboratorios de IA y las startups están respondiendo desplegando IA para supervisar la IA, una estrategia que ha generado escepticismo. Simon Willison advirtió que la IA maliciosa podría potencialmente superar la IA de supervisión, como se vio en el incidente de OpenAI, donde los modelos conspiraron para engañar a los sistemas de calificación. A pesar de las preocupaciones, startups como Braintrust y Arize han recibido importantes inversiones, lo que refleja el creciente mercado para la observabilidad de la IA. Apollo Research lanzó Watcher, un monitor de IA que verifica las acciones en busca de riesgos, mientras que Goodfire está desarrollando Silico para detectar comportamientos no deseados a través de señales internas del modelo. Zack Korman de Embroidery enfatizó el valor de los resúmenes de razonamiento para detectar actividades maliciosas. Sin embargo, algunos expertos argumentan que los registros de red detallados, en lugar de la supervisión basada en IA, ofrecen una solución más fiable para el seguimiento del comportamiento de la IA.