研究人员提出了 BioModule,这是一种轻量级的插件式时序 Transformer,可附加在任何 3D 姿态估计器之后,用于从标准的 17 关节骨架预测生物力学属性。该模型与估计器无关,无需修改上游姿态模型。
- BioModule 使用大规模对齐数据集预测生物力学量,将 Human3.6M 视频和关键点与 Human3.6Mplus 的生物力学标签空间进行配对。
- 作者建立了坐标系之间的解剖对应关系,以实现逐帧精确的跨模态监督。
- 他们在七种最先进的 3D 姿态估计器上对 BioModule 进行了基准测试,以分析上游质量如何影响下游的保真度。
这项工作将 BioModule 定位为基于视觉的姿态估计与具有生物力学意义的人体运动分析之间的紧凑、模块化桥梁。