Os Caminhos para Modelos de Linguagem Visual Generalizados

A tarefa de processar imagens e gerar texto correspondente — como legendagem automática e resposta a perguntas visuais — impulsionou a investigação de novos paradigmas. Uma estratégia comum consiste em estender modelos de linguagem pré-treinados para trabalhar com sinais visuais, abordagem que tem gerado diversos modelos de linguagem visual. As técnicas exploradas variam significativamente. Alguns modelos, como o VisualBERT e SimVLM, integram imagens directamente durante o treinamento, convertendo regiões de imagem em tokens processáveis. O VisualBERT combina BERT com entradas visuais e textuais; o SimVLM segue uma abordagem prefixal, onde a informação visual é processada bidireccionalmente antes da geração de texto. O CM3 vai mais longe, treinado em escala massiva com dados de websites para gerar conteúdo estruturado incluindo hiperligações e imagens. Uma alternativa eficiente envolve manter os modelos de linguagem congelados e adaptar apenas a codificação visual. O Frozen e ClipCap seguem este caminho, reduzindo significativamente o número de parâmetros treináveis. O ClipCap mapeia embeddings do CLIP para o espaço semântico de um modelo de linguagem pré-treinado, conseguindo resultados competitivos com manutenção mínima de parâmetros treináveis. Outras abordagens aproveitam mecanismos de cross-attention para equilibrar informação linguística e visual. O VisualGPT introduz uma unidade de activação especial; o VC-GPT combina transformers visuais pré-treinados com decodificadores de linguagem através de camadas de cross-attention adicionais. Modelos mais avançados como MERLOT aprendem objectivos espaciais e temporais em vídeos; o Flamingo representa a culminação destas técnicas, aceitando texto intercalado com imagens ou vídeos e utilizando uma arquitectura perceiver para fusão eficiente de modalidades.