Les chercheurs proposent BioModule, un transformateur temporel léger et enfichable qui se connecte en aval de n'importe quel estimateur de pose 3D pour prédire des attributs biomécaniques à partir de squelettes standards à 17 articulations. Le modèle est indépendant de l'estimateur et ne nécessite aucune modification du modèle de pose amont.
- BioModule prédit les quantités biomécaniques en utilisant un grand jeu de données aligné associant les vidéos Human3.6M et les keypoints à l'espace d'étiquettes biomécaniques de Human3.6Mplus.
- Les auteurs établissent une correspondance anatomique entre les systèmes de coordonnées pour une supervision cross-modal précise au niveau des images.
- Ils benchmarkent BioModule sur sept estimateurs de pose 3D de pointe pour analyser comment la qualité amont se propage à la fidélité aval.
Ce travail positionne BioModule comme un pont compact et modulaire entre l'estimation de pose basée sur la vision et l'analyse du mouvement humain biomécaniquement significative.