Os Modelos de Difusão Explicados
Fonte: Lilian Weng10/07/2021, 21:00
Os modelos de difusão representam uma abordagem alternativa aos modelos geradores convencionais como GANs e VAEs, oferecendo treinamento mais estável e maior diversidade nas amostras geradas. Baseados em conceitos da termodinâmica não-equilíbrio, estes modelos aprendem a inverter um processo de difusão que adiciona progressivamente ruído gaussiano aos dados até transformá-los em puro ruído.
O funcionamento segue duas fases distintas. Primeiramente, o modelo adiciona iterativamente ruído aos dados originais através de T passos controlados por um calendário de variância. Em seguida, uma rede neural aprende a reverter este processo, começando a partir de ruído puro e removendo gradualmente o ruído para reconstruir amostras coerentes. Uma propriedade matemática fundamental permite amostrar qualquer estado intermédio directamente sem necessidade de executar todos os passos anteriores.
O treino otimiza redes neurais para prever o ruído adicionado em cada etapa ou para estimar o gradiente da distribuição dos dados. Melhorias recentes incluem calendários de variância baseados em cosseno, aprendizagem condicional de variância e integração de informações de classe ou texto para geração controlada. Variantes específicas como DDPM, GLIDE, Imagen e diffusion latent demonstram a versatilidade da abordagem em diferentes aplicações.