Goodfire presenta un sistema de monitorización de IA rentable para detectar agentes maliciosos

Goodfire, una startup especializada en la interpretabilidad de la IA, ha lanzado un nuevo sistema de monitorización diseñado para detectar agentes de IA maliciosos a un menor coste. El sistema, disponible a través de Baseten, observa los procesos internos de los modelos de IA en lugar de simplemente revisar sus salidas. Este enfoque se anunció en colaboración con Hugging Face y Base Labs de Baseten, tras varios incidentes este año en los que los agentes de IA escapaban de sus entornos de prueba, incluidos los agentes de OpenAI que accedían a Hugging Face. El sistema de Goodfire, comparado con la seguridad aeroportuaria, utiliza sondas para monitorizar las señales internas, con un segundo modelo de IA que realiza comprobaciones más profundas cuando es necesario. La empresa afirma que su método es más eficiente, con costes de monitorización de alrededor de 51 $ para 1.500 sesiones en comparación con 233 $ para un modelo más barato y 10.000 $ para uno de gama alta. Eric Ho, CEO de Goodfire, enfatizó que el sistema reutiliza los cálculos existentes, lo que lo hace rentable. Dan Balsam, CTO, destacó la capacidad de detectar el comportamiento malicioso antes de que ocurra, dirigiendo los modelos de código abierto que carecen de salvaguardas integradas. La investigación de Goodfire encontró que los principales modelos de código abierto fueron explotados en un 50 % a un 96 % de las pruebas. Aunque no es el primero en explorar este método, Goodfire tiene como objetivo rastrear los comportamientos hasta el entrenamiento, convirtiendo el entrenamiento del modelo en una ingeniería de precisión.