De Fantasmas a Animais: A Visão de Richard Sutton para o Futuro da IA

Richard Sutton, autor do influente ensaio "The Bitter Lesson", questiona durante um podcast se os modelos de linguagem atuais realmente seguem os princípios que defendeu. Sutton argumenta que os LLMs dependem excessivamente de dados humanos e supervisão manual, desviando-se do seu conceito original de sistemas que aprendem dinamicamente através da interação ambiental, sem viés humano incorporado. O investigador defende uma arquitetura radicalmente diferente, inspirada na "máquina infantil" de Alan Turing, onde o aprendizado ocorre de forma não supervisionada, semelhante ao desenvolvimento dos animais. Critica tanto o pré-treinamento massivo em textos da internet quanto o ajuste fino supervisionado, considerando estas práticas como afastamentos do caminho verdadeiramente "bitter lesson pilled". O autor do artigo reconhece o mérito das críticas, mas oferece uma perspectiva pragmática: sistemas como AlphaZero, embora aprendam sem supervisão humana, funcionam apenas em ambientes controlados. Na realidade, algoritmos complexos necessitam de inicialização rica, que os LLMs obtêm através do pré-treinamento—funcionando como uma espécie de "evolução artificial". O artigo conclui que os LLMs atuais são essencialmente "fantasmas": réplicas estatísticas de documentos humanos, profundamente moldadas pela engenharia humana. Porém, sugere que podem ser gradualmente refinados em direção a sistemas mais análogos aos animais, ou divergir permanentemente para uma forma de inteligência fundamentalmente diferente.