Pipeline de aprendizaje de robótica en streaming construido utilizando el conjunto de datos NVIDIA cosmos3-droid

Los investigadores han desarrollado un pipeline de aprendizaje de robótica en streaming utilizando el conjunto de datos NVIDIA Cosmos3-DROID, lo que permite el análisis y el entrenamiento sin necesidad de descargar el repositorio de 707 GB localmente. El enfoque aprovecha la detección de episodios basada en metadatos, la proyección Parquet a nivel de columna y fila, y la decodificación de vídeo basada en la búsqueda para acceder únicamente a los datos necesarios para el análisis y el entrenamiento. El pipeline convierte los episodios individuales en trayectorias de estado-acción, analiza el movimiento de las articulaciones, los eventos del agarre y los espectros de frecuencia de la acción, y decodifica únicamente las ventanas de vídeo AV1 necesarias. También normaliza las observaciones y las acciones utilizando las estadísticas del conjunto de datos, construye un conjunto de datos PyTorch de estilo ACT y entrena una política multimodal de clonación de comportamiento. La política entrenada se evalúa mediante un despliegue en bucle abierto con fragmentos de acciones temporalmente ensamblados, y los resultados se visualizan en comparación con las acciones de referencia. El flujo de trabajo proporciona una base compacta y extensible para escalar a fragmentos adicionales, demostraciones de fallos y representaciones alternativas de la acción. El método admite tanto las rutas de decodificación PyAV como FFmpeg para un procesamiento eficiente de vídeo AV1 y permite el almacenamiento opcional de observaciones visuales para gestionar los recursos computacionales. El entrenamiento utiliza el optimizador AdamW, la programación de la tasa de aprendizaje OneCycle y la ejecución de precisión mixta. El modelo final incluye estadísticas de normalización y metadatos de configuración para su reutilización en experimentos futuros. El proyecto destaca el potencial del acceso de datos impulsado por metadatos para gestionar de forma eficiente conjuntos de datos de robótica a gran escala.