Estrategias de aprendizaje por currículo para acelerar entrenamiento de red neuronal
Fuente: Lilian Weng28/01/2020, 21:00
Este artículo técnico examina cómo el aprendizaje por currículo—ordenar sistemáticamente ejemplos de entrenamiento de simple a complejo—mejora la convergencia de la red neuronal y la eficiencia del aprendizaje. Basándose en trabajo fundamental de 1993 demostrando que conjuntos de datos iniciales restringidos habilitan aprendizaje de gramática imposible con datos de complejidad total, el artículo explora cómo los currículos aceleran el aprendizaje profundo. La guía distingue entre enfoques de currículo específicos de tareas y basados en datos, aplicados principalmente a escenarios de aprendizaje por refuerzo. El diseño de currículo se presenta como no trivial, reconociendo que currículos mal diseñados pueden perjudicar en lugar de ayudar al aprendizaje. El artículo examina cómo aumentar gradualmente la complejidad de la muestra de entrenamiento imita sistemas de educación humana, habilitando a los modelos para dominar conceptos fundamentales antes de abordar problemas avanzados. Se discuten múltiples categorías de aprendizaje por currículo y aplicaciones para proporcionar a los profesionales orientación sobre la implementación de estrategias efectivas de progresión de aprendizaje.