NVIDIAの研究者たちは、リアルタイム対話型アプリケーションで高忠実度の3Dヒューマンモーション合成を可能にするストリーミング生成フレームワークであるARDYを発表しました。このシステムは、明示的なルート特徴と潜在的身体埋め込みを組み合わせることで、オフラインの精度とオンラインの速度のギャップを埋めます。

  • 正確な軌跡制御と効率的な生成学習のバランスを取るハイブリッド表現を利用します。
  • 可変履歴コンテキストに対応できる2段階の自己回帰型トランスフォーマーノイズ除去器を採用しています。
  • 柔軟な長時間スケールの運動学的制約やオンラインテキストプロンプトへの条件付けをサポートします。
  • 制御可能な生成をネイティブに学習させるために、大規模モーションキャプチャデータでトレーニングされています。
  • モーションの品質と制約準拠について、HumanML3DおよびBones Rigplayベンチマークで検証されました。

このフレームワークにより、ユーザーは動的テキスト、キーフレームポーズ、パスフォロー、対話型ローコモーションを通じてモーションを制御でき、アニメーション、シミュレーション、ヒューマノイドロボティクスに適しています。