MirroS presenta code-as-world: transformar vídeos reales en simulaciones físicas ejecutables

MirroS ha presentado Code-as-World, un enfoque innovador que convierte vídeos del mundo real en programas de física MuJoCo ejecutables. El sistema representa escenas físicas a través de código ejecutable, lo que permite a los agentes verificar y editar simulaciones. Code-as-World-VL-9B, entrenado con 73.335 pares de QA en el espacio de imágenes, ha obtenido una puntuación de 55,4 MRA en QuantiPhy-validation, superando a Gemini-3.1 Flash y otras líneas de base. El modelo utiliza un bucle agente para recuperar programas de vídeos en hasta cinco rondas, utilizando herramientas como SAM 3 y VGGT-Omega. El entrenamiento implicó ocho GPU NVIDIA H100 y un ajuste fino a partir de modelos Qwen3.5. El sistema también destaca en la alineación de objetos y trayectorias, con mejoras observadas después del aprendizaje por refuerzo en el espacio mundial. MirroS ha publicado el repositorio de GitHub y dos puntos de control bajo la licencia Apache 2.0, invitando a la colaboración para el lanzamiento de productos y seminarios web. El enfoque aborda las limitaciones de los modelos de vídeo y la reconstrucción 3D, centrándose en los mecanismos físicos en lugar de los datos visuales. Code-as-World representa las escenas como representaciones del mundo ejecutables (EWR), que se compilan en archivos scene.json para la simulación de MuJoCo. El método combina la búsqueda abductiva con bucles de retroalimentación para refinar las simulaciones en función de los datos del mundo real, logrando resultados comparables a los de los mejores modelos como ChatGPT-5.1 y Qwen3-VL-32B-Instruct.