Llms podem criar seus próprios sistemas de agentes, mas a generalização continua sendo um desafio

Pesquisadores da ByteDance Seed, da Universidade de Tecnologia e Design de Singapura e outras instituições desenvolveram um framework chamado HarnessDev, que permite que os modelos de linguagem grandes (LLMs) engenhem seus próprios sistemas de agentes. O framework avalia os sistemas criados pelos modelos, em vez de apenas as respostas que eles produzem. Em testes, seis LLMs, incluindo Opus 4.8 e GPT-5.5, foram avaliados em sua capacidade de construir e refinar sistemas em vários benchmarks. O Opus 4.8 obteve a pontuação média mais alta de 67,8 em autoavaliação, embora tenha ficado atrás dos benchmarks projetados por humanos em 86,2. Apesar do progresso, a generalização continua limitada. Apenas 34 das 64 alterações feitas nos sistemas mostraram melhorias consistentes em vários benchmarks. O volume de código e os números de auto-testes não correlacionaram fortemente com o desempenho, destacando a complexidade da tarefa. O estudo também revelou que grande parte do código gerado era inerte, com muitas funcionalidades nunca sendo usadas na prática. Os resultados destacam os desafios que os LLMs enfrentam ao criar sistemas de agentes robustos e generalizáveis.