Tencentは、言語推論と視覚的想像力を結びつけた具現化認知向けの約62億パラメータの統一マルチモーダル基盤モデルであるHy-Embodied-RxBrain-1.0をリリースした。

  • 本モデルは、理解と画像合成が単一の自己回帰アーキテクチャを共有するUnified Mixture-of-Transformers (MoT)バックボーンを使用している。
  • フローマッチング画像ヘッドを搭載し、凍結されたFLUX VAE潜在空間にデコードして想像されたフレームを生成する。
  • 主要な機能には、具現化理解、世界状態の予測、テキスト推論と視覚的目標のインターリーブ生成を通じた共同サブゴール計画が含まれる。

このアプローチにより、モデルは次のアクションと到達すべき目標画像の両方を出力することで、タスクをステップごとに分解することが可能になる。