El marco de NVIDIA isaacteleop permite el control de robots mediante el seguimiento de la mano y el controlador

El marco de IsaacTeleop de NVIDIA permite a los usuarios controlar robots simulados y reales utilizando datos de seguimiento de la mano y el controlador, sin necesidad de un casco. El tutorial demuestra cómo construir datos de entrada manualmente utilizando NumPy, evitando la necesidad de hardware. El sistema se basa en un motor de reorientación basado en gráficos que traduce las entradas de la mano y el controlador en acciones del robot. Los componentes clave incluyen TensorGroupType para la validación de datos, OptionalType para el manejo de entradas faltantes y ParameterState para la afinación del comportamiento. El marco admite reorientadores integrados como GripperRetargeter y reorientadores SE(3), que mapean las entradas del controlador a los movimientos del robot. Se probó una tubería sintética, que muestra cómo el sistema puede replicar la entrada del casco con un solo controlador. El tutorial también destaca cómo la afinación y la calibración de los parámetros persisten entre sesiones, lo que garantiza un rendimiento constante. Al utilizar Python estándar y grupos de tensores tipados, el marco permite un control de robots flexible y fiable sin dependencias de hardware. El proyecto es de código abierto, con código disponible para su exploración adicional.