Cientista da OpenAI esclarece a complexidade do raciocínio do astra em meio a preocupações com a transparência

Em 2 de setembro, Jakub Pachocki, o principal cientista da OpenAI, abordou as preocupações sobre o 'raciocínio opaco' do modelo Astra no X. A controvérsia surgiu após o The Information reportar que a OpenAI está testando a tecnologia de 'recorrência profunda', que poderia obscurecer os processos de tomada de decisão internos do modelo. Pachocki enfatizou que a profundidade do grafo de computação dos modelos atuais da OpenAI, incluindo o Astra, é inferior a duas vezes a do GPT-4, e que a arquitetura não experimentou um salto significativo em complexidade. Ele alertou contra uma 'corrida para um estado de IA não monitorado' devido a relatórios de mídia enganosos. Pachocki reconheceu que o monitoramento da cadeia de pensamento, uma ferramenta chave para entender o alinhamento do modelo, é atualmente frágil e tem se movido em uma direção negativa, independentemente das mudanças arquitetônicas. Ele afirmou que fortalecer esse monitoramento é um foco central da pesquisa atual. A OpenAI planeja implantar monitoramento adicional da cadeia de pensamento para o Astra. A profundidade do grafo de computação, uma medida da complexidade da rede neural, refere-se ao número de camadas sequenciais de computação que um modelo utiliza.