Tencent Robotics X, le laboratoire Futian et Tencent Hunyuan ont publié le rapport technique, le code d'inférence et les poids de Hy-Embodied-RxBrain-1.0, un modèle de base multimodal unifié d'environ 6,2 milliards de paramètres pour la cognition incarnée.
Le modèle couple le raisonnement linguistique avec l'imagination visuelle par une génération autoregressive entrelacée, alternant texte et cadres imaginés appariés par flux (flow-matched) au sein d'une seule séquence. Les composants architecturaux clés incluent un backbone Unified Mixture-of-Transformers avec des voies spécifiques à la modalité et une tête d'image Flow-Matching qui décode dans un espace latent FLUX VAE gelé.
RxBrain offre trois capacités principales : la compréhension et le raisonnement incarnés sur les images et la vidéo, la prédiction de l'état du monde pour imaginer les cadres futurs proches, et la planification conjointe de sous-objectifs qui décompose les tâches en étapes avec des actions linguistiques et des images cibles.