Por que os pesquisadores de IA continuam a desenvolver sistemas que acreditam que podem acabar com a humanidade

Em uma conferência de tecnologia da Goldman Sachs em São Francisco, Sarah Friar, CFO da OpenAI, destacou como os maiores modelos da empresa podem treinar outros menores, reduzindo custos e demonstrando auto-aperfeiçoamento recursivo. Isso gerou tanto entusiasmo entre os investidores quanto preocupação dentro da comunidade de IA. Evan Hubinger, líder de ciência de alinhamento na Anthropic, alertou que a IA poderia matar todos os humanos com uma probabilidade superior a 10% em uma década. Preocupações semelhantes foram levantadas por outros funcionários da Anthropic e da OpenAI, causando alarme na Vale do Silício. Brad Gerstner, da Altimeter Capital, questionou a lógica da continuação do desenvolvimento da IA, apesar desses riscos. Os pesquisadores citam incentivos comerciais e a crença de que são os únicos capazes de garantir a segurança da IA. Samuel Marks, líder de supervisão escalável na Anthropic, notou a corrida contra desenvolvedores menos responsáveis. Os pesquisadores de IA, frequentemente da academia, são motivados pela missão de 'salvar o mundo', em vez de lucro. Kylan Gibbs, CEO da Inworld, atribuiu o pânico atual à perda de agência, à medida que o controle sobre o desenvolvimento da IA se concentra. Sam Altman enfatizou a importância da agência na formação do futuro da IA.