Nvidia demonstra que os 'harnesses', e não os modelos de IA, são a chave para tarefas de longo prazo

A Nvidia lançou uma nova pesquisa que destaca que o 'harness', e não o modelo de IA em si, desempenha um papel crucial na capacidade dos sistemas de IA de executar tarefas complexas e de longo prazo. O 'harness', descrito como o framework de software que envolve um modelo de IA, inclui ferramentas, gestão de memória e componentes de supervisão que permitem que o modelo funcione como um agente autónomo. Em testes, os investigadores utilizaram um 'harness' personalizado com um componente de 'supervisão' para obter uma pontuação de 100% no benchmark ARC-AGI-3, um conjunto de jogos 2D que requerem resolução de problemas sem instruções explícitas. Sem o 'harness', o mesmo modelo obteve apenas 30%, o que sublinha a importância do framework para a execução eficaz de tarefas. Adel El Hallack, vice-presidente de produtos da unidade de IA da Nvidia, explicou que o 'harness' é essencial para transformar um modelo num agente, gerir a memória, o contexto e o feedback. Ele enfatizou que o 'harness' não é apenas uma API, mas um sistema abrangente que inclui ferramentas, tempo de execução e bibliotecas. As tarefas de longo prazo, que requerem a tomada de decisões sustentadas ao longo de períodos prolongados, continuam a ser um grande desafio na investigação de IA. Os resultados da Nvidia estão em consonância com a investigação semelhante da OpenAI, que também descobriu que a alteração das configurações do 'harness' melhorava significativamente o desempenho no mesmo benchmark. A investigação também destaca implicações mais amplas para o desenvolvimento de IA, sugerindo que a escolha do modelo não é o único determinante do desempenho do agente. A Databricks demonstrou anteriormente que diferentes 'harnesses' podem levar a variações significativas nos custos de IA, com o 'harness' errado podendo dobrar os custos. A Nvidia argumenta que os 'harnesses' abertos, como os modelos abertos, dão aos utilizadores maior controlo e flexibilidade, permitindo um ajuste mais preciso dos sistemas de IA. El Hallack observou que os 'stacks' de agentes abertos, que abrangem o 'harness', a infraestrutura e o tempo de execução, são essenciais para avançar no campo de forma segura e eficiente. Além das principais conclusões, o artigo também menciona várias outras desenvolvimentos no espaço da IA, incluindo a investigação da Microsoft sobre tarefas de longo prazo, onde os modelos produziram documentos cheios de erros, e o encerramento da Relay, uma startup de automação de IA. Estes exemplos ilustram os desafios contínuos e a evolução do panorama da investigação e da implementação de IA.