Generalist AI apresenta o GEN-1.5, um modelo de robô que aprende novas tarefas a partir de demonstrações breves

A Generalist AI revelou o GEN-1.5, um modelo de robô fundamental capaz de aprender novas tarefas físicas a partir de uma única demonstração. O modelo processa de 3 a 12 segundos de dados de sensório-motor dentro de uma janela de contexto de 30 segundos, permitindo que ele execute a tarefa sem atualizações de gradiente, ajuste fino ou programação específica da tarefa. Em 10 tarefas de manipulação diversas, o modelo alcançou uma taxa de sucesso média de 59% (±10% desv. padrão) usando apenas a versão pré-treinada, que aumentou para 83% (±9%) após dez passos de gradiente em cinco minutos de dados por tarefa. A empresa se refere a este método como "prompting" físico, enfatizando que ele surgiu naturalmente após mais de oito meses de pré-treinamento contínuo em dados de interação física, sem alterações arquitetônicas, loops de meta-aprendizagem ou objetivos auxiliares. O modelo integra entradas de vídeo, sensores, linguagem e proprioceptivos, e emite trajetórias de ação a 100 Hz. Ele executa exclusivamente na frota e no motor de dados interno da Generalist AI, sem pesos, API ou preços disponíveis publicamente. A empresa destaca que a capacidade do modelo de generalizar, mesmo em cenários novos, como usar uma banana como um pincel improvisado ou uma pá para levantar um bloco, sugere um salto significativo no aprendizado de uma única vez para tarefas físicas. A Generalist AI nota que adaptar políticas de robôs normalmente requer dezenas de milhares de passos de gradiente, mas o GEN-1.5 alcança resultados semelhantes com apenas dez passos, movendo os pesos do modelo em menos de 0,15% em tarefas de teste. Esta abordagem é enquadrada como treinamento em tempo de teste em um regime de baixa quantidade de dados. A performance do modelo também melhora com um ajuste fino leve, demonstrando sua adaptabilidade. A Generalist AI compartilhou seu artigo de pesquisa e thread de anúncio, e convida à colaboração para promover repositórios do GitHub, páginas do Hugging Face, lançamentos de produtos ou webinars. O artigo originalmente apareceu no MarkTechPost.