Pesquisadores do mit introduzem programação baseada em espaço de pesos, impulsionando o desempenho do Qwen3.5 em 6x com ajustes mínimos de parâmetros

Pesquisadores do MIT CSAIL apresentaram uma nova técnica chamada Programação Baseada em Espaço de Pesos. Este método permitiu que o GPT-6 da OpenAI modificasse os pesos da rede neural do modelo Qwen3.5-0.8B da Alibaba Cloud, alcançando um salto significativo no desempenho na avaliação MATH-500, de 7,9% para 48,1%, um aumento de seis vezes. Isso foi alcançado ajustando apenas cerca de 0,016% dos parâmetros do modelo, contornando os loops de treinamento tradicionais como o gradiente descendente. A pesquisa, liderada por Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, envolveu o Astra identificando um padrão repetitivo no loop de inferência do modelo nas camadas MLP 15 e 19. Ao modificar 131.072 pesos, a equipe reduziu drasticamente o número de vezes em que o modelo atingia o limite de 32.768 tokens, melhorando o cumprimento das instruções no IFEval de 21,0% para 62,3%. Embora o processo não utilizasse retropropagação, exigiu que o Astra operasse em um ambiente Python para análise e até 50 iterações de inferência direta. Um experimento de controle usando o Gemma 3 270M mostrou que a técnica não conseguia criar capacidades que o modelo não possuía, apenas remover obstáculos existentes. A pesquisa sugere que esta abordagem oferece novas avenidas para a interpretabilidade de redes neurais.