연구진은 BioModule을 제안했습니다. 이는 임의의 3D 자세 추정기에 연결하여 표준 17-관절 골격에서 생체역학적 속성을 예측하기 위한 경량 플러그인 시간 트랜스포머입니다. 연구팀은 Human3.6M 비디오와 키포인트를 Human3.6Mplus의 생체역학적 레이블 공간과 페어링한 대규모 정렬 데이터셋을 구축하여 프레임 단위의 정확한 교차 모달 감독을 가능하게 했습니다.
- BioModule은 추정기 비종속적이며 상위 자세 모델의 수정이 필요하지 않습니다.
- 신체의 움직임, 하중, 활성화를 설명하는 생체역학적 양을 예측합니다.
- 이 시스템은 7개의 최첨단 3D 자세 추정기에 걸쳐 벤치마킹되었습니다.
- 이는 상위 자세 추정 품질이 하류 생체역학 예측 충실도에 어떻게 전파되는지에 대한 최초의 체계적인 분석을 제공합니다.
BioModule은 재활 및 스포츠 과학 응용을 위해 비전 기반 자세 추정과 물리적으로 해석 가능한 운동 분석 사이를 연결하는 컴팩트하고 모듈식인 다리를 제공합니다.