Co-VGGT는 VGGT의 계층 특화성을 활용하여 공동 가시성 분류를 개선

연구자들은 기하학적 파운데이션 모델인 VGGT가 공동 가시성을 암묵적으로 인코딩하며, 초기 계층은 3D 인식 표현을 구축하고 후기 계층은 전용 추론기 역할을 함을 입증했습니다. 구체적으로, 계층 L17은 비공동 가시성 쌍에 대한 음의 앵커로 작용하여 계층 특화성의 증거를 제공합니다.

이 발견을 바탕으로 저자들은 VGGT를 동결하고 RGB 이미지만으로 공동 가시성을 분류하기 위해 7.5M 미만의 매개변수를 가진 경량 계층별 mixture-of-experts 헤드를 훈련하는 Co-VGGT를 소개했습니다.

Co-VisiON 벤치마크에서 Co-VGGT는 인간 주석 기준선을 초과하여 쌍별 결과를 25% 이상, 다중 뷰 결과를 10% 개선했습니다. 그 예측은 잘 보정되어 있으며(ECE=0.030), 사후 교정 없이 SfM 및 SLAM 파이프라인의 가시성 그래프에서 직접 에지 가중치로 사용할 수 있습니다.