Tencent a publié Hy-Embodied-RxBrain-1.0, un modèle fondamental multimodal unifié d'environ 6,2 milliards de paramètres conçu pour la cognition incarnée, qui couple le raisonnement linguistique à l'imagination visuelle.

  • Le modèle utilise une colonne vertébrale Unified Mixture-of-Transformers (MoT) où la compréhension et la synthèse d'images partagent une seule architecture autoregressive.
  • Il dispose d'une tête d'image par appariement de flux qui décode dans un espace latent FLUX VAE gelé pour générer des frames imaginées.
  • Les capacités clés incluent la compréhension incarnée, la prédiction de l'état du monde et la planification conjointe de sous-objectifs via la génération entrelacée de raisonnement textuel et d'objectifs visuels.

Cette approche permet au modèle de décomposer les tâches en étapes en émettant à la fois l'action suivante et l'image objectif qu'il doit atteindre.