Исследователи предлагают Track2Map, онлайн-пайплайн 3D Gaussian Splatting, который совместно оптимизирует траекторию камеры и представление 3D-сцены непосредственно из хирургического видео. Этот подход позволяет выполнять надежную реконструкцию в роботизированной малоинвазивной хирургии даже при отсутствии или зашумленности точных априорных данных о траектории камеры.
- Система использует инициализацию деформации, привязанную к трекам, на основе плотных 2D-треков точек для стабилизации оптимизации в условиях движения тканей.
- Статистика треков разделяет движение камеры и деформацию сцены за счет обнаружения статических периодов и снижения дрейфа во время инкрементального построения карты.
- Эксперименты на наборе данных StereoMIS демонстрируют улучшение качества реконструкции и точности траектории камеры по сравнению с конкурирующими методами SLAM.
Метод эффективно функционирует как система Simultaneous Localisation and Mapping (SLAM), устраняя ограничения офлайн-пайплайнов, зависящих от надежных кинематических априорных данных.