Los LLM pueden crear sus propios sistemas de agentes, pero la generalización sigue siendo un desafío

Investigadores de ByteDance Seed, la Universidad de Tecnología y Diseño de Singapur y otras instituciones han desarrollado un marco llamado HarnessDev, que permite a los modelos de lenguaje grandes (LLM) diseñar sus propios sistemas de agentes. El marco evalúa los sistemas que los modelos crean, en lugar de solo las respuestas que producen. En pruebas, seis LLM, incluidos Opus 4.8 y GPT-5.5, fueron evaluados en su capacidad para construir y refinar sistemas en varios conjuntos de datos. Opus 4.8 obtuvo la puntuación promedio más alta de 67,8 en la autoevaluación, aunque quedó rezagado con respecto a los conjuntos de datos diseñados por humanos, que fueron del 86,2. A pesar del progreso, la generalización sigue siendo limitada. Solo 34 de los 64 cambios realizados en los sistemas mostraron una mejora consistente en los conjuntos de datos. El volumen de código y el número de pruebas no se correlacionaron fuertemente con el rendimiento, lo que destaca la complejidad de la tarea. El estudio también reveló que gran parte del código generado era inerte, y que muchas características nunca se utilizaron en la práctica. Los hallazgos subrayan los desafíos que enfrentan los LLM para crear sistemas de agentes robustos y generalizables.