MirroS a publié Code-as-World, un paradigme et un ensemble de modèles qui représentent les scènes physiques sous forme de code exécutable plutôt que de pixels ou de latents. Le système utilise une boucle agentique pour récupérer ces représentations à partir d'images réelles, permettant la génération de données d'entraînement avec des étiquettes physiques exactes.

  • MirroS a publié deux checkpoints, Code-as-World-VL-4B et Code-as-World-VL-9B, sous licence Apache 2.0, affinés à partir des modèles Qwen3.5.
  • La boucle agentique effectue jusqu'à cinq tours d'étapes de proposition, instanciation, exécution, rendu et vérification pour récupérer les représentations du monde exécutables.
  • Les mondes vérifiés servent de supervision d'entraînement, le modèle 9B obtenant un score de 55.4 MRA sur QuantiPhy-validation, surpassant Gemini-3.1 Flash à 54.8.
  • L'approche traite les pixels comme une preuve d'une scène plutôt que comme son ontologie, compilant les scènes en fichiers scene.json pour l'exécution MuJoCo.

Cette méthode fournit des étiquelles physiques exactes que la vidéo réelle ne possède pas, permettant aux modèles d'apprendre la dynamique précise de la masse, du contact et de la gravité grâce à l'affinage supervisé et à l'apprentissage par renforcement.