Les chercheurs proposent BioModule, un transformateur temporel léger de type plug-in qui se connecte à n'importe quel estimateur de posture 3D pour prédire les attributs biomécaniques à partir de squelettes standards à 17 articulations. L'équipe construit un jeu de données aligné à grande échelle associant les vidéos et points clés de Human3.6M à l'espace d'étiquettes biomécaniques de Human3.6Mplus pour permettre une supervision cross-modale précise au niveau des images.
- BioModule est indépendant de l'estimateur et ne nécessite aucune modification du modèle de posture amont.
- Il prédit les quantités biomécaniques décrivant comment le corps bouge, se charge et s'active.
- Le système est évalué sur sept estimateurs de posture 3D de pointe.
- Cela fournit la première analyse systématique de la manière dont la qualité de l'estimation de posture amont se propage à la fidélité de la prédiction biomécanique en aval.
BioModule sert de pont compact et modulaire entre l'estimation de posture basée sur la vision et l'analyse du mouvement physiquement interprétable pour des applications en rééducation et en sciences du sport.