Cientista da OpenAI responde a preocupações sobre a transparência de modelos de IA

Em 2 de setembro, o principal cientista da OpenAI, Jakub Pachocki, respondeu a preocupações sobre a 'opacidade' do raciocínio de modelos de IA, particularmente em relação ao seu novo modelo, Astra. Pachocki afirmou que a profundidade computacional do Astra não é maior do que o dobro da do GPT-4, indicando que não há um salto significativo na complexidade do modelo. Ele enfatizou que a OpenAI permanece comprometida em aprimorar as ferramentas de monitoramento para o raciocínio do modelo, considerando-o um foco de pesquisa fundamental. A controvérsia surgiu de um relatório da The Information, que destacou os testes da tecnologia de 'profundidade recorrente' da OpenAI. Esta abordagem permite que os modelos apliquem repetidamente as mesmas camadas de rede, o que pode tornar os estados internos mais difíceis de interpretar. Pachocki alertou que, embora as ferramentas de monitoramento atuais sejam frágeis, esforços estão em andamento para fortalecê-las. O debate desencadeou discussões na comunidade de IA sobre as implicações para a transparência do modelo.