Por que pesquisadores de IA estão preocupados com o potencial de catástrofe controlada por máquinas

Em junho de 2026, Rishub Jain renunciou ao Google DeepMind, citando preocupações sobre a IA ultrapassar o controle humano. Ele alertou que a auto-melhoria recursiva poderia levar a resultados catastróficos se os humanos permanecerem à margem. Jacob Coxon, que deixou a Anthropic, ecoou essas preocupações, alertando sobre uma corrida em direção a uma superinteligência auto-aperfeiçoada. Um líder sênior da Anthropic afirmou que a IA poderia matar todos os humanos com uma probabilidade superior a 10% em uma década. Nate Soares, coautor de 'Se Alguém Construir, Todos Morrerão', argumentou que a auto-melhoria recursiva cria um ciclo de feedback, embora nenhuma empresa tenha alcançado a autonomia total. Startups como Recursive Intelligence perseguem esse conceito, enquanto grandes empresas emitem alertas. Soares observou que alinhar a IA com os valores humanos se torna mais complexo à medida que os modelos avançam. Daniel Kokotajlo destacou que os medos sobre a auto-melhoria recursiva datam de eventos anteriores, juntamente com o crescente preocupação pública sobre o impacto da IA nos empregos e na confiança. Jain lançou a Sampura Research para desenvolver técnicas de alinhamento de IA com intervenção humana, sugerindo que a colaboração poderia mitigar os riscos.