Sakana AI presenta pc-alm: un nuevo método de entrenamiento para redes neuronales profundas

Los investigadores de Sakana AI han introducido PC-ALM, un nuevo método de entrenamiento que permite entrenar redes neuronales con 1000 capas utilizando un enfoque local a la capa, evitando la necesidad de la retropropagación. El método, una extensión del código predictivo (PC), integra multiplicadores de Lagrange para mantener la asignación de crédito a través de las capas, logrando resultados similares a la retropropagación en MNIST. PC-ALM, que está disponible como código de código abierto bajo una licencia MIT, se ha probado en pequeños conjuntos de datos de imágenes y muestra un mejor rendimiento en comparación con los métodos de PC tradicionales, especialmente en redes profundas y estrechas. El equipo de investigación informa que PC-ALM coincide con la retropropagación en varios anchos, profundidades y funciones de activación, con una precisión de prueba del 77,75% en Fashion-MNIST, en comparación con el 68,13% para PC. El método también demuestra eficacia en modelos ResNet-18 en CIFAR-10 y Tiny ImageNet. El estudio destaca el potencial de PC-ALM como una alternativa viable a la retropropagación, ofreciendo un proceso de entrenamiento más estable con oscilaciones amortiguadas en lugar de un flujo de gradiente monótono.