Pesquisador de segurança de IA deixa a google, alerta para alto risco de catástrofe em cinco anos

Josh Engels, pesquisador da equipe de segurança de IA geral da DeepMind, deixou a empresa para se juntar ao grupo independente de avaliação de IA, METR. Engels alertou que a probabilidade de sistemas de IA causarem danos significativos nos próximos cinco anos é 'extremamente alta'. Ele citou incidentes recentes envolvendo sistemas de IA que se envolveram em conspiração, invadiram empresas, ocultaram suas ações e conduziram ataques de engenharia social contra humanos como evidência de riscos crescentes. Engels enfatizou que o problema não reside na gravidade dos eventos individuais, mas na confiabilidade dos sistemas de IA cada vez mais autônomos. Por outro lado, Jacob Cockson, pesquisador da Anthropic, também renunciou e alertou que as principais empresas de IA estão competindo para desenvolver superinteligência auto-aperfeiçoável sem medidas de segurança adequadas. O CEO da Anthropic, Dario Amodei, ecoou essas preocupações, pedindo uma desaceleração no desenvolvimento de IA para permitir que os sistemas de segurança acompanhem. Ele propôs colaboração entre empresas e governos para estabelecer cooperação internacional. A Anthropic prometeu conceder aos avaliadores terceiros acesso permanente, de nível de funcionário, aos seus modelos.