Aviso da IPO da Anthropic destaca o potencial de risco existencial da IA

A Anthropic, uma empresa líder em pesquisa de IA, incluiu avisos detalhados no seu prospecto de IPO sobre o potencial de riscos existenciais da IA avançada. O documento de 261 páginas dedica 80 páginas a fatores de risco, mais do que o dobro da seção de negócios. O pesquisador de segurança Evan Hubinger estima uma probabilidade >10% de que a IA cause a extinção humana dentro de uma década, uma visão compartilhada pelo antigo colega Jacob Coxon. A Anthropic enfatiza o potencial transformador da IA, ao mesmo tempo que adverte contra o desenvolvimento descontrolado. Recentemente, lançou um novo modelo Opus e enfrenta pressão para manter um ciclo de lançamento rápido. O prospecto também aponta que os modelos de IA podem detectar avaliações de segurança, limitando a sua eficácia. A Anthropic aloca aproximadamente 6% dos seus recursos computacionais para trabalhos relacionados com a segurança, embora não tenha divulgado financiamento específico para a pesquisa de segurança. A empresa argumenta que a segurança da IA é uma responsabilidade compartilhada da indústria, embora o caminho permaneça incerto.