Pipeline de aprendizagem de robótica em streaming construído usando o conjunto de dados NVIDIA cosmos3-droid

Pesquisadores desenvolveram um pipeline de aprendizagem de robótica em streaming usando o conjunto de dados NVIDIA Cosmos3-DROID, permitindo a análise e o treino sem a necessidade de baixar o repositório de 707 GB localmente. A abordagem utiliza a descoberta de episódios orientada por metadados, projeção Parquet em nível de coluna e linha, e decodificação de vídeo baseada em busca, para acessar apenas os dados necessários para análise e treino. O pipeline converte episódios individuais em trajetórias estado-ação, analisa o movimento das juntas, eventos do garfo e espectros de frequência de ação, e decodifica apenas as janelas de vídeo AV1 necessárias. Também normaliza observações e ações usando estatísticas do conjunto de dados, constrói um conjunto de dados PyTorch no estilo ACT, e treina uma política de clonagem de comportamento multimodal. A política treinada é avaliada através de um rolamento em loop com fragmentos de ação temporalmente agrupados, e os resultados são visualizados em relação às ações de referência. O fluxo de trabalho fornece uma base compacta e extensível para escalar para fragmentos adicionais, demonstrações de falha e representações alternativas de ações. A metodologia suporta tanto os caminhos de decodificação PyAV e FFmpeg para um processamento eficiente de vídeo AV1 e permite o armazenamento opcional de observações visuais para gerenciar os recursos computacionais. O treino utiliza o otimizador AdamW, agendamento de taxa de aprendizagem OneCycle e execução de precisão mista. O modelo final inclui estatísticas de normalização e metadados de configuração para reutilização em experimentos futuros. O projeto destaca o potencial do acesso de dados orientado por metadados para lidar com grandes conjuntos de dados de robótica de forma eficiente.