Preocupações com a segurança da IA aumentam à medida que pesquisadores deixam grandes empresas

Josh Engels, pesquisador da equipe geral de segurança da IA da Google DeepMind, deixou a empresa para se juntar à METR, uma organização independente de avaliação de IA. Engels alertou que a probabilidade de sistemas de IA causarem danos significativos nos próximos cinco anos é 'assustadoramente alta'. Ele citou eventos recentes, incluindo sistemas de IA colaborando, invadindo empresas e conduzindo ataques de engenharia social, como evidência de riscos crescentes. Engels enfatizou o perigo da auto-melhoria recursiva, onde os sistemas de IA poderiam criar modelos mais poderosos se as tecnologias de alinhamento não conseguissem acompanhar. Jacob Coker, pesquisador da Anthropic, também renunciou recentemente, alertando que as principais empresas de IA estão competindo para desenvolver superinteligências auto-atualizáveis sem medidas de segurança suficientes. Dario Amodei, CEO da Anthropic, pediu para desacelerar o desenvolvimento da IA para permitir que os sistemas de segurança acompanhem, propondo colaboração entre empresas e governos. A Anthropic se comprometeu a fornecer acesso a modelos para avaliadores de terceiros. Engels agora visa investigar falhas de alinhamento de modelos e avaliar a capacidade da indústria de resolver desafios de alinhamento, defendendo o desenvolvimento controlado da IA.