MirroS apresenta "código como mundo": transformando vídeos reais em simulações físicas executáveis

A MirroS revelou o "código como mundo", uma abordagem inovadora que converte vídeos do mundo real em programas de física MuJoCo executáveis. O sistema representa cenas físicas através de código executável, permitindo que os agentes verifiquem e editem simulações. O Code-as-World-VL-9B, treinado em 73.335 pares de perguntas e respostas no espaço de imagem, alcançou uma pontuação de 55,4 MRA na validação QuantiPhy, superando Gemini-3.1 Flash e outras linhas de base. O modelo utiliza um ciclo de agente para recuperar programas de vídeos em até cinco iterações, aproveitando ferramentas como SAM 3 e VGGT-Omega. O treinamento envolveu oito GPUs NVIDIA H100 e ajuste fino a partir de modelos Qwen3.5. O sistema também se destaca no alinhamento de objetos e trajetórias, com melhorias observadas após o aprendizado por reforço no espaço do mundo. A MirroS lançou o repositório GitHub e dois pontos de verificação sob a licença Apache 2.0, convidando à colaboração para lançamentos de produtos e webinars. A abordagem aborda as limitações dos modelos de vídeo e da reconstrução 3D, concentrando-se nos mecanismos físicos em vez de dados visuais. O Code-as-World representa cenas como representações executáveis do mundo (ERWs), compiladas em arquivos scene.json para simulação MuJoCo. O método combina a busca abductiva com ciclos de feedback para refinar as simulações em relação a dados do mundo real, alcançando resultados comparáveis aos dos melhores modelos, como ChatGPT-5.1 e Qwen3-VL-32B-Instruct.