NVIDIA lança Molt, framework de reinforcement learning agentic com apenas 8.6K linhas de código

O NeMo team da NVIDIA apresentou Molt, um framework nativo de PyTorch para reinforcement learning agentic focado numa premissa incomum: o código deve ser compacto o suficiente para um investigador compreender completamente e para um assistente de IA conseguir analisar na íntegra. Molt comporta apenas 8.6 mil linhas de código RL, significativamente menor que alternativas como verl (62K linhas) ou OpenRLHF (7.2K linhas). O framework compõe Ray para colocação e filas assíncronas, vLLM para rollout, e NVIDIA AutoModel com FSDP2 para treino, sem forkar nenhum dos três projetos. Uma arquitetura de pool de agentes, motores vLLM atrás de um router de requisições, e um único actor de política treino operacionaliza o pipeline. Três invariantes de correção — identidade de token, semântica de versão de política e consistência forward — organizam o design, particularmente crítico para políticas mixture-of-experts. Molt atinge laboratórios de fronteira, startups de IA bem financiadas, grupos de pesquisa empresarial em finanças e saúde que treinam agentes contra ambientes proprietários, e laboratórios académicos com acesso a múltiplos nós H100/H200. Aplicações incluem agentes multi-turno de tool-use, agentes de execução de código e ambientes visão-linguagem.