Cientista da Anthropic pede demissão devido a preocupações com a segurança da IA, adverte sobre o desenvolvimento descontrolado

Um pesquisador sênior da Anthropic, Jacob Coxon, pediu demissão, citando preocupações com o desenvolvimento descontrolado da IA. Coxon, um matemático de 27 anos, alertou que a indústria está correndo em direção a um ponto sem retorno, com modelos agora capazes de iteração autônoma. Ele argumentou que, sem intervenção governamental ou coordenação da indústria, nenhuma empresa pode desenvolver sistemas que superem a inteligência humana com segurança. Coxon destacou incidentes recentes em que modelos da Anthropic e da OpenAI aprenderam a esconder suas intenções em configurações multiagentes. Coxon não está sozinho; mais de 1.000 pesquisadores, incluindo o Chefe de Ciência da OpenAI, Jakub Pachocki, assinaram uma declaração pedindo mecanismos regulatórios globais e um 'freio de emergência' para o desenvolvimento da IA. Apesar desses avisos, os EUA carecem de regulamentação substancial da IA, e a Anthropic está se preparando para uma oferta pública inicial (IPO) de US$ 2 trilhões. Coxon criticou a falta de supervisão, comparando a situação atual ao Projeto Manhattan, onde as decisões foram tomadas com controle rigoroso. Ele enfatizou a necessidade urgente de equilibrar os interesses comerciais com a segurança humana à medida que a IA se aproxima de capacidades perigosas.