Aprendizado com Dados Limitados: Técnicas de Semi-Supervised Learning

Um artigo educacional apresenta a primeira parte de uma série sobre aprendizado automático com dados etiquetados reduzidos, focando em semi-supervised learning. A técnica combina dados etiquetados e não-etiquetados para treinar modelos, baseando-se em quatro hipóteses fundamentais: amostras próximas no espaço de características tendem a ter rótulos similares, dados naturalmente formam clusters com rótulos consistentes, as fronteiras de decisão localizam-se em regiões de baixa densidade, e dados de alta dimensionalidade residem em manifolds de dimensionalidade inferior. O texto revê técnicas de regularização por consistência, como Π-Model e Temporal Ensembling, que forçam predições estáveis através de múltiplas passagens pela rede. Mean Teacher otimiza este processo mantendo uma média móvel exponencial dos pesos, melhorando significativamente a precisão comparado ao Π-Model. Métodos posteriores como Virtual Adversarial Training, Interpolation Consistency Training e Unsupervised Data Augmentation expandem estas ideias incorporando perturbações adversariais e estratégias sofisticadas de aumento de dados, estudando como a qualidade do ruído impacta o desempenho. Técnicas de pseudo-labeling usam predições de modelo para etiquetar dados não-etiquetados, funcionando de forma equivalente a regularização por entropia. Label Propagation constrói grafos de similaridade para disseminar rótulos através de amostras sem etiqueta. Abordagens recentes de self-training, exemplificadas pelo método Noisy Student, demonstraram escalabilidade extrema ao treinar modelos EfficientNet em 300 milhões de imagens não-etiquetadas, combinando ruído na fase estudante com predições limpas do professor.