Estrategias de exploración en entornos de aprendizaje de refuerzo profundo

Este artículo técnico aborda el tradeoff exploración-explotación fundamental para el aprendizaje por refuerzo, examinando estrategias para descubrir soluciones óptimas eficientemente evitando compromiso prematuro con políticas subóptimas. El relevamiento cubre algoritmos de bandido clásicos y su aplicación al aprendizaje por refuerzo profundo con aproximación de función de red neuronal. El artículo discute dos escenarios de desafío crítico: problemas de exploración difícil con recompensas escasas o engañosas, y el problema TV ruidoso donde agentes optimizando por novedad pueden perseguir estímulos sin sentido. Puntos de referencia específicos como Montezuma's Revenge ejemplifican entornos requiriendo exploración sofisticada. Se presentan varias técnicas de exploración moderna para abordar estos escenarios, reconociendo que la exploración sigue siendo un problema de investigación abierto en RL profundo donde ningún enfoque único domina en todas las clases de problemas.