연구자들은 BioModule을 제안했습니다. 이는 경량 플러그인형 시간 트랜스포머로, 모든 3D 자세 추정기의 downstream에 연결되어 표준 17-조인트 스케레톤에서 생체역학적 속성을 예측합니다. 이 모델은 추정기에 독립적이며 upstream 자세 모델의 수정이 필요하지 않습니다.
- BioModule은 Human3.6M 비디오와 키포인트를 Human3.6Mplus의 생체역학적 레이블 공간과 페어링한 대규모 정렬 데이터셋을 사용하여 생체역학적 양을 예측합니다.
- 저자들은 프레임 단위의 정확한 크로스모달러 서퍼바이전을 위해 좌표계 간의 해부학적 대응 관계를 확립했습니다.
- 그들은 BioModule을 7개의 최첨단 3D 자세 추정기에서 벤치마킹하여 upstream 품질이 downstream 충실도에 어떻게 전파되는지 분석했습니다.
이 작업은 BioModule을 비전 기반 자세 추정과 생체역학적으로 의미 있는 인간 모션 분석 사이의 컴팩트하고 모듈러한 브리지로 위치시킵니다.