Pesquisa & Papers

Estratégias de aprendizado por currículo para acelerar treinamento de rede neural

Fonte: Lilian Weng28/01/2020, 21:00
Este artigo técnico examina como aprendizado por currículo—ordenar sistematicamente exemplos de treinamento de simples a complexo—melhora convergência de rede neural e eficiência de aprendizado. Baseando-se em trabalho fundamental de 1993 demonstrando que datasets iniciais restritos habilitam aprendizado de gramática impossível com dados de complexidade total, o artigo explora como currículos aceleram aprendizado profundo. O guia distingue entre abordagens de currículo específicas de tarefas e baseadas em dados, principalmente aplicadas a cenários de aprendizado por reforço. Design de currículo é apresentado como não trivial, reconhecendo que currículos mal projetados podem prejudicar ao invés de ajudar o aprendizado. O artigo examina como aumentar gradualmente a complexidade de amostra de treinamento imita sistemas de educação humana, habilitando modelos a dominar conceitos fundamentais antes de abordar problemas avançados. Múltiplas categorias de aprendizado por currículo e aplicações são discutidas para fornecer aos praticantes orientação sobre implementação de estratégias efetivas de progressão de aprendizado.
Estratégias de aprendizado por currículo para acelerar treinamento de rede neural — lupAI