Alucinações em Modelos de Linguagem: Causas, Medição e Soluções

Modelos de linguagem de grande escala enfrentam um problema fundamental: a tendência de gerar informações fabricadas, inconsistentes ou não fundamentadas em conhecimento verificável. Este desafio surge em duas fases críticas do treino: durante a acumulação de conhecimento em dados massivos da internet (frequentemente desatualizados ou incorretos) e durante o ajuste fino, quando a introdução de novo conhecimento amplifica paradoxalmente erros de factualidade. Vários investigadores desenvolveram métodos para quantificar este problema. Estudos recentes demonstram que quando se treina modelos com informação nova, os sistemas aprendem mais lentamente do que com conhecimento pré-existente e, depois de aprender, aumentam a sua tendência a alucinar. Diferentes benchmarks como TruthfulQA, FActScore e SAFE permitem avaliar a qualidade factual das respostas, com resultados que indicam que modelos maiores nem sempre produzem texto mais factual. Os investigadores exploram também a capacidade dos modelos em reconhecer limitações do seu conhecimento. Quando confrontados com questões sem resposta ou ambíguas, os modelos deveriam recusar responder ou expressar incerteza. Testes mostram que modelos maiores conseguem melhor diferenciar perguntas respondíveis de não respondíveis, mas frequentemente confiam demasiado em previsões incorrectas. Várias estratégias têm sido propostas para aumentar a factualidade, desde integrar buscas externas até editar respostas com base em verificação automatizada. Métodos como RARR, que retroativamente adiciona citações a textos gerados, e FAVA, que combina recuperação de conhecimento com edição controlada, mostram promessa, embora cada abordagem envolva trade-offs entre precisão e cobertura factual.