研究者らは、BioModuleを提案した。これは任意の3D姿勢推定器に接続して、標準的な17関節骨格から生体力学的属性を予測するための軽量なプラグイン時間トランスフォーマーである。チームは、Human3.6Mのビデオとキーポイントを、Human3.6Mplusの生体力学的ラベル空間とペアリングした大規模な整列データセットを構築し、フレーム単位の正確なクロスモーダル教師あり学習を可能にした。

  • BioModuleは推定器に依存せず、上位層の姿勢モデルの変更は不要である。
  • 身体の動き、負荷、活性化を記述する生体力学的量を予測する。
  • 本システムは7つの最先端3D姿勢推定器でベンチマークされている。
  • これにより、上位層の姿勢推定品質が下流の生体力学予測精度にどのように伝播するかに関する初の体系的な分析が提供される。

BioModuleは、リハビリテーションやスポーツ科学における応用のために、ビジョンベースの姿勢推定と物理的に解釈可能な運動分析の間を繋ぐコンパクトでモジュール式な橋渡し役として機能する。