Instruction tuning reduz diversidade em modelos de IA, revela estudo

Investigadores descobriram que o instruction tuning, técnica comum de refinamento de modelos de linguagem, tem custos ocultos. Embora melhore a obediência a instruções específicas, reduz significativamente a diversidade de respostas e a flexibilidade contextual. Uma equipa de pesquisa desenvolveu Spectrum Suite e apresentou Spectrum Tuning como método alternativo de pós-treinamento, visando equilibrar conformidade com instruções e diversidade de outputs.