Framework isaacteleop da NVIDIA permite o controle de robôs através do rastreamento de mãos e controle

O framework IsaacTeleop da NVIDIA permite que os usuários controlem robôs simulados e reais usando dados de rastreamento de mãos e controle, sem a necessidade de um headset. O tutorial demonstra como construir dados de entrada manualmente usando NumPy, evitando a necessidade de hardware. O sistema se baseia em um motor de retargeting baseado em grafo que traduz as entradas de mão e controle em ações de robô. Os principais componentes incluem TensorGroupType para validação de dados, OptionalType para lidar com entradas ausentes e ParameterState para ajustar o comportamento. O framework suporta retargeters integrados, como GripperRetargeter e retargeters SE(3), que mapeiam as entradas do controle para movimentos do robô. Uma pipeline sintética foi testada, demonstrando como o sistema pode replicar a entrada do headset com um único controle. O tutorial também destaca como o ajuste de parâmetros e a calibração persistem entre as sessões, garantindo um desempenho consistente. Ao usar Python simples e grupos de tensores tipados, o framework permite um controle de robô flexível e confiável sem dependências de hardware. O projeto é de código aberto, com código disponível para exploração adicional.