Iniciativa de pesquisa da OpenAI busca desenvolvimento transparente de tecnologias de IA de alto risco

Nathan Lambert e Tom Zick lançaram a Trillium Labs, uma organização sem fins lucrativos focada em pesquisa de IA transparente e de alto risco. A iniciativa visa abordar riscos como o autoaperfeiçoamento recursivo (RSI) e o aprendizado por reforço, tornando os detalhes experimentais disponíveis publicamente para análise e replicação. Lambert argumenta que a abordagem atual, fechada, ao desenvolvimento de IA dificulta a avaliação de riscos, defendendo um retorno ao método científico. Zick enfatiza a importância de publicar os resultados de experimentos de aprendizado por reforço para revelar o comportamento da IA. A organização sem fins lucrativos arrecadou financiamento não divulgado da Schmidt Sciences, Halcyon Futures e outras, com planos de arrecadar um total de 40 a 100 milhões de dólares. Tim Fist do Institute for Progress apoia a maior transparência na pesquisa e desenvolvimento de IA, destacando seu potencial para enriquecer o debate mais amplo sobre o desenvolvimento de IA. Lambert e Zick se conheceram durante a pandemia enquanto estudavam na UC Berkeley e foram inspirados a iniciar a Trillium Labs após observar a crescente desconexão entre a pesquisa acadêmica e as práticas da indústria. A organização sem fins lucrativos se concentrará inicialmente no ajuste fino pós-treinamento e no RSI, áreas de preocupação devido ao seu potencial para o avanço descontrolado da IA. Os recentes avisos de um pesquisador da Anthropic sobre os riscos existenciais do RSI intensificaram o debate sobre o desenvolvimento de IA aberto versus fechado. A iniciativa busca contribuir com uma perspectiva mais matizada para a discussão contínua sobre como construir sistemas de IA de forma responsável.