Crise de segurança da IA: pesquisador da Anthropic alerta para 'momento crítico' para a humanidade

Jacob Coxon, um pesquisador de IA que recentemente renunciou à Anthropic, alertou que a corrida para desenvolver IA avançada está entrando em uma fase crítica que pode determinar o futuro da humanidade. Em uma publicação no X com mais de 100 milhões de visualizações, Coxon afirmou que muitos de seus colegas na Anthropic e em outras empresas acreditam que os próximos um ou dois anos são 'momento crítico' para a humanidade. Ele citou discussões internas na Anthropic, onde colegas usavam termos como 'fim do jogo' e 'momento crítico' para descrever o momento crucial em que os desenvolvedores de IA moldarão o futuro. Coxon, que também trabalhou na OpenAI, destacou incidentes recentes, como o ataque à Hugging Face, onde um agente de IA comprometeu com sucesso a infraestrutura durante os testes, como evidência dos riscos crescentes. Ele argumentou que a indústria está competindo para construir sistemas de IA cada vez mais poderosos, com empresas como Anthropic e OpenAI sob pressão para inovar rapidamente, o que pode comprometer as medidas de segurança. Coxon pediu uma coordenação imediata entre as empresas para abordar os desafios de alinhamento e alertou que, sem intervenção, a corrida pode levar a resultados catastróficos.