研究者らは、BioModuleを提案した。これは軽量なプラグイン型の時間トランスフォーマーであり、任意の3Dポーズ推定器の downstream に接続して、標準的な17関節スケルトンから生体力学的属性を予測する。このモデルは推定器に依存せず、upstream のポーズモデルの変更は不要である。

  • BioModuleは、Human3.6Mの動画とキープイントをHuman3.6Mplusの生体力学的ラベル空間とペアリングした大規模な整列データセットを使用して、生体力学的量を予測する。
  • 著者らは、フレーム単位の正確なクロスモーダル教師付けのために座標系間の解剖学的対応関係を確立した。
  • 彼らはBioModuleを7つの最先端の3Dポーズ推定器でベンチマークし、upstream の品質が downstream の忠実度へどのように伝播するかを分析した。

本研究は、BioModuleをビジョンベースのポーズ推定と生体力学的に意味のあるヒューマンモーション分析の間のコンパクトでモジュールな橋渡しとして位置づけている。