Ant group presenta una herramienta de código abierto para la detección de riesgos en tiempo real en modelos grandes

El Laboratorio de Seguridad de IA de Ant Group ha lanzado SingProbe, una herramienta de detección de riesgos en tiempo real para modelos grandes. Utiliza los estados ocultos del proceso de razonamiento del modelo base para evaluar los riesgos a nivel de token con menos del 0,5% de sobrecarga computacional adicional. SingProbe puede realizar la clasificación de intenciones, la detección de seguridad e identificación de alucinaciones simultáneamente. Es compatible con 29 modelos grandes de uso común y es la primera solución completa de tecnología de seguridad intrínseca de código abierto ofrecida por una importante empresa tecnológica. El código de código abierto y los modelos pre-entrenados se han lanzado juntos, mostrando ventajas significativas en escenarios de alto riesgo, como la atención médica, lo que permite bloquear el contenido en milisegundos antes de su salida. El lanzamiento de SingProbe marca un importante paso en la seguridad de la IA, ofreciendo una solución ligera y eficiente para la evaluación de riesgos en tiempo real. Al aprovechar los estados ocultos del modelo base, la herramienta minimiza la sobrecarga computacional al tiempo que mantiene una alta precisión. Este enfoque difiere de los modelos de revisión de seguridad externos de uso común, que normalmente requieren sistemas separados para la evaluación de riesgos. La iniciativa de código abierto de Ant Group tiene como objetivo mejorar la transparencia y la colaboración en el desarrollo de modelos grandes seguros y fiables. Se espera que la apertura de SingProbe influya en la comunidad de IA en general, proporcionando un marco práctico para integrar medidas de seguridad intrínsecas en el desarrollo de modelos grandes. Esta iniciativa se alinea con los crecientes esfuerzos de la industria para abordar los riesgos asociados con los sistemas de IA avanzados, particularmente en dominios sensibles como la atención médica. La capacidad de la herramienta para permitir bloqueos en milisegundos destaca su potencial para prevenir salidas dañinas en tiempo real, contribuyendo a una IA más segura y responsable.