Google apresenta DiffusionGemma, modelo que gera texto 4 vezes mais rápido

A Google lançou DiffusionGemma, um modelo experimental de código aberto com 26 mil milhões de parâmetros baseado na arquitetura de Mistura de Especialistas. Diferentemente dos modelos de linguagem convencionais que processam texto sequencialmente token a token, DiffusionGemma consegue gerar blocos inteiros de texto simultaneamente, alcançando velocidades até quatro vezes superiores em processadores gráficos dedicados. O modelo utiliza uma abordagem baseada em difusão para otimizar o desempenho em cenários locais de baixa concorrência. Enquanto em ambientes de nuvem os servidores distribuem o trabalho entre múltiplas requisições, num computador pessoal um único GPU fica frequentemente ocioso durante a geração sequencial de palavras. DiffusionGemma resolve essa ineficiência processando 256 tokens em paralelo, transformando a inferência de uma operação sequencial numa operação de alto rendimento. A solução foi concebida para programadores que desenvolvem aplicações interativas em tempo real, como edição inline, prototipagem rápida e estruturas de texto não-lineares. Através de ajuste fino, o modelo pode ser adaptado a tarefas especializadas, conforme demonstrado na resolução de puzzles de Sudoku, um desafio difícil para modelos autogressivos que dependem de contexto futuro. Lançado sob licença Apache 2.0, DiffusionGemma representa um avanço na exploração de técnicas de difusão para processamento de linguagem natural, embora os modelos autogressivos da família Gemma se mantenham como padrão para aplicações de produção que exigem máxima qualidade.