Co-VGGT использует специализацию слоёв VGGT для улучшения классификации совместной видимости

Исследователи демонстрируют, что геометрическая фундаментальная модель VGGT неявно кодирует совместную видимость, при этом ранние слои строят 3D-осознанные представления, а поздние слои действуют как выделенные рассуждающие модули. В частности, слой L17 служит отрицательным якорем для пар с отсутствующей совместной видимостью, предоставляя доказательства специализации слоёв.

Опираясь на этот вывод, авторы представляют Co-VGGT, которая замораживает VGGT и обучает лёгкую послойную смесь экспертов (mixture-of-experts) с менее чем 7.5M параметров для классификации совместной видимости исключительно по RGB-изображениям.

На бенчмарке Co-VisiON Co-VGGT превосходит базовый уровень человеческой аннотации, улучшая парные результаты более чем на 25%, а многовидовые результаты — на 10%. Его предсказания хорошо калиброваны (ECE=0.030), что позволяет напрямую использовать их в качестве весов рёбер в графах видимости для конвейеров SfM и SLAM без последующей коррекции.