Criando dados de treino: técnicas de síntese e aumento quando dados são limitados

Quando o volume de dados para treino é insuficiente, duas estratégias principais podem ser empregadas: o aumento de dados (modificando exemplos existentes mantendo seu significado) e a síntese de dados (gerando novos exemplos artificialmente). A primeira abordagem opera através de transformações controladas em imagens, texto, áudio e representações internas de modelos, preservando a informação semântica enquanto introduz variação. Para texto, técnicas como Easy Data Augmentation aplicam operações simples mas eficazes: substituição de palavras, inserção, troca e remoção, com efeito mais pronunciado em datasets reduzidos. Métodos mais sofisticados usam modelos pré-treinados para substituir palavras por sinónimos contextualmente apropriados, ou geram novos textos traduzindo entre idiomas. Em áudio, mascaram-se segmentos temporais ou de frequência, aplicam-se deslocamentos de pitch e misturam-se amostras. A síntese com modelos de linguagem pré-treinados oferece alternativa promissora. Estudos demonstraram que GPT-3 pode anotar dados com custo 10 vezes inferior ao trabalho humano, funcionando como anotador fraco em frameworks de auto-treino. Modelos fine-tuned podem também gerar amostras sintéticas condicionadas a rótulos, processo que se repete iterativamente. Os dados gerados contêm frequentemente ruído e imprecisões, exigindo técnicas de treino robusto. Regularização padrão como dropout e normalização em lotes ajudam, assim como métodos dedicados que filtram exemplos comprometidos ou adaptam predições do modelo ao padrão de ruído observado. A qualidade final depende de afinidade (relevância para a tarefa) e diversidade (cobertura do espaço de dados).