Исследователи предлагают BioModule, легкий временной трансформер-плагин, который подключается после любого 3D-оценчика позы для предсказания биомеханических атрибутов на основе стандартных скелетов из 17 суставов. Модель не зависит от конкретного оценчика и не требует изменения исходной модели оценки позы.
- BioModule предсказывает биомеханические величины, используя крупномасштабный выровненный датасет, сопоставляющий видео Human3.6M и ключевые точки с пространством биомеханических меток Human3.6Mplus.
- Авторы устанавливают анатомическое соответствие между системами координат для точного по кадрам кросс-модального обучения.
- Они оценивают BioModule на семи современных 3D-оценчиках позы, чтобы проанализировать, как качество исходной модели влияет на точность конечных результатов.
Работа позиционирует BioModule как компактный модульный мост между оценкой позы на основе зрения и биомеханически осмысленным анализом движений человека.