Sakana AI apresenta o pc-alm: um novo método de treinamento para redes neurais profundas

Os pesquisadores da Sakana AI introduziram o PC-ALM, um novo método de treinamento que permite o treinamento de redes neurais com 1000 camadas, utilizando uma abordagem local por camada, eliminando a necessidade de retropropagação. O método, uma extensão da codificação preditiva (PC), integra multiplicadores de Lagrange para manter a atribuição de crédito entre as camadas, alcançando resultados próximos da retropropagação no conjunto de dados MNIST. O PC-ALM, disponível como código de código aberto sob uma licença MIT, foi testado em pequenos conjuntos de dados de imagens e mostra um desempenho aprimorado em relação aos métodos de PC tradicionais, particularmente em redes profundas e estreitas. A equipe de pesquisa relata que o PC-ALM corresponde à retropropagação em termos de largura, profundidade e funções de ativação, com uma precisão de teste de 77,75% no conjunto de dados Fashion-MNIST, em comparação com 68,13% para o PC. O método também demonstra eficácia em modelos ResNet-18 no CIFAR-10 e Tiny ImageNet. O estudo destaca o potencial do PC-ALM como uma alternativa viável à retropropagação, oferecendo um processo de treinamento mais estável com oscilações amortecidas em vez de fluxo de gradiente monótono.