Ant group lança ferramenta de código aberto para detecção de riscos em tempo real em modelos grandes

O Laboratório de Segurança de IA da Ant Group lançou o SingProbe, uma ferramenta de detecção de riscos em tempo real para modelos grandes. Ele utiliza os estados ocultos do processo de raciocínio do modelo base para avaliar os riscos no nível do token, com uma sobrecarga computacional adicional de menos de 0,5%. O SingProbe pode realizar classificação de intenção, detecção de segurança e identificação de alucinações simultaneamente. É compatível com 29 modelos grandes populares e é a primeira solução completa de tecnologia de segurança intrínseca de código aberto disponibilizada por uma grande empresa de tecnologia. O código de código aberto e os modelos pré-treinados foram lançados em conjunto, demonstrando vantagens significativas em cenários de alto risco, como saúde, permitindo bloqueios em nível de milissegundos antes da saída de conteúdo. A disponibilização do SingProbe marca um passo significativo na segurança da IA, oferecendo uma solução leve e eficiente para avaliação de riscos em tempo real. Ao aproveitar os estados ocultos do modelo base, a ferramenta minimiza a sobrecarga computacional, mantendo uma alta precisão. Esta abordagem difere dos modelos de revisão de segurança externos, que normalmente exigem sistemas separados para avaliação de riscos. A iniciativa de código aberto da Ant Group visa melhorar a transparência e a colaboração no desenvolvimento de modelos grandes seguros e confiáveis. Espera-se que o código aberto do SingProbe influencie a comunidade de IA mais ampla, fornecendo um quadro prático para integrar medidas de segurança intrínseca no desenvolvimento de modelos grandes. Esta ação está alinhada com os esforços crescentes da indústria para abordar os riscos associados a sistemas avançados de IA, particularmente em domínios sensíveis como a saúde. A capacidade do SingProbe de permitir bloqueios em nível de milissegundos destaca seu potencial para prevenir saídas prejudiciais em tempo real, contribuindo para uma IA mais segura e responsável.