Relevamiento técnico de métodos de búsqueda de arquitectura neural
Fuente: Lilian Weng05/08/2020, 21:00
Este artículo examina enfoques automatizados para descubrir arquitecturas de redes neurales óptimas sin diseño manual de expertos. El relevamiento discute la evolución de la Búsqueda de Arquitectura Neural desde el trabajo inicial en 2017 hasta métodos contemporáneos, cubriendo los tres componentes principales de sistemas NAS: definición del espacio de búsqueda, estrategia de búsqueda y estimación de desempeño. En lugar de confiar únicamente en operaciones secuenciales capa por capa, los enfoques NAS modernos exploran representaciones de topología de red más sofisticadas. El artículo aborda cómo garantizar que las arquitecturas generadas permanezcan válidas mientras se maneja la complejidad de parámetros específicos de la arquitectura. Las conexiones de salto y mecanismos de atención se exploran como componentes arquitectónicos. El relevamiento presenta metodologías NAS eficientes y abarcadoras para permitir que los profesionales encuentren arquitecturas de alto desempeño de forma más sistemática que enfoques de diseño manual tradicional.