Modelo astra da OpenAI gera preocupações com segurança devido a nova técnica de raciocínio

O modelo astra da OpenAI, que utiliza uma nova técnica de raciocínio chamada 'recorrência opaca', tem gerado preocupações entre especialistas em segurança de IA. O método permite que o modelo processe consultas de forma não linear, tornando a sua cadeia de pensamento mais difícil de monitorizar. Buck Shlegeris, CEO da Redwood, expressou preocupação de que o desenvolvimento adicional da técnica pudesse reduzir significativamente a transparência. Zvi Mowshowitz alertou que práticas semelhantes correm o risco de minar normas de segurança estabelecidas. A OpenAI afirmou que o uso da técnica pelo Astra é limitado e que o raciocínio do modelo permanece legível. A empresa também anunciou planos para sistemas extensivos de monitorização da cadeia de pensamento. Jakub Pachocki, chefe científico da OpenAI, enfatizou o compromisso do laboratório em manter a transparência nos processos de raciocínio. Os investigadores temem que, à medida que a recorrência opaca se torna mais prevalente, poderá complicar os esforços para garantir a alinhamento e a segurança da IA.