Xiaomi a présenté Xiaomi-Robotics-U0, un modèle multimodal autoregressif de 38 milliards de paramètres conçu pour la synthèse incarnée unifiée. Le modèle traite la génération incarnée comme une extension de la génération d'images et de vidéos fondées sur des modèles de base, optimisant conjointement la génération texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée.
- Préserve la généralisation des modèles mondiaux de base pré-entraînés tout en les adaptant aux contextes incarnés.
- Prend en charge la génération de scènes multi-vues de haute qualité à travers plusieurs embodiments robotiques.
- Introduit un transfert incarné structuré et contrôlable pour l'édition fine-granulaire tout en préservant la cohérence multi-vues.
- Surpasse GPT-Image-2.0 dans les évaluations humaines de génération et de transfert de scènes incarnées.
- Se classe premier sur World Arena pour la génération vidéo incarnée.
- Améliore le taux de succès hors distribution de pi_0.5, passant de 36,9 % à 63,2 % sur des tâches de manipulation réelles complexes.
Les résultats démontrent que les modèles mondiaux de base peuvent servir à la fois de modèles mondiaux incarnés et de moteurs de données évolutifs pour l'intelligence incarnée.