OpenAI propõe estrutura de segurança para o treinamento de IA de ponta

A OpenAI delineou uma estrutura abrangente de segurança, com o objetivo de garantir o desenvolvimento responsável de sistemas de IA de ponta, particularmente no aprendizado por reforço. A proposta enfatiza a necessidade de documentação de segurança estruturada, semelhante a 'casos de segurança' utilizados em setores críticos de segurança, como aviação e energia nuclear. Estes casos cobririam o treinamento de alinhamento, contenção e monitoramento para prevenir ações mal alinhadas e mitigar riscos. A OpenAI destaca a importância de salvaguardas técnicas, incluindo revisões automatizadas de conjuntos de dados, testes de contenção e sistemas de monitoramento em tempo real. A empresa também defende as melhores práticas operacionais, como dissidências, aprovações e medidas de responsabilização, para fortalecer os protocolos de segurança. Estas recomendações estão atualmente em implementação e devem evoluir à medida que a empresa continua a refinar a sua abordagem à segurança da IA. O quadro também inclui diretrizes para investigar incidentes graves de desalinhamento da IA, enfatizando a transparência, a análise das causas raízes e a divulgação pública dos resultados. A OpenAI enfatiza a importância de aprender com incidentes passados para evitar ocorrências futuras, garantindo que as medidas de segurança permaneçam robustas e adaptáveis. A empresa pretende partilhar o seu progresso e as suas perspetivas com a comunidade de IA mais ampla para promover a responsabilidade e a inovação coletivas no desenvolvimento seguro da IA.