Les chercheurs proposent Track2Map, un pipeline de Gaussian Splatting 3D en ligne qui optimise conjointement la trajectoire de la caméra et la représentation de la scène 3D directement à partir de vidéos chirurgicales. Cette approche permet une reconstruction robuste en chirurgie mini-invasive assistée par robot, même lorsque des priors précis sur la trajectoire de la caméra sont absents ou bruités.

  • Le système utilise une initialisation de déformation ancrée par trajectoire via des tracks de points 2D denses pour stabiliser l'optimisation malgré le mouvement des tissus.
  • Les statistiques de track séparent le mouvement de la caméra de la déformation de la scène en détectant les périodes statiques et en réduisant la dérive lors de la cartographie incrémentale.
  • Les expériences sur le dataset StereoMIS démontrent une amélioration de la qualité de reconstruction et de la précision de la trajectoire de la caméra par rapport aux méthodes SLAM concurrentes.

La méthode fonctionne efficacement comme un système de Localisation et Cartographie Simultanées (SLAM), comblant les lacunes des pipelines hors ligne qui dépendent de priors cinématiques fiables.