Co-VGGT menggunakan spesialisasi lapisan VGGT untuk meningkatkan klasifikasi ko-visibilitas

Peneliti menunjukkan bahwa model fondasional geometris VGGT secara implisit mengkodekan ko-visibilitas, dengan lapisan awal membangun representasi yang sadar 3D dan lapisan akhir bertindak sebagai penalar khusus. Secara spesifik, lapisan L17 berfungsi sebagai jangkar negatif untuk pasangan non-ko-visibel, memberikan bukti spesialisasi lapisan.

Berdasarkan temuan ini, penulis memperkenalkan Co-VGGT, yang membekukan VGGT dan melatih kepala campuran-ahli berlapis ringan dengan kurang dari 7,5M parameter untuk mengklasifikasikan ko-visibilitas hanya dari gambar RGB.

Pada benchmark Co-VisiON, Co-VGGT melampaui baseline anotasi manusia, meningkatkan hasil berpasangan lebih dari 25% dan hasil multiview sebesar 10%. Prediksinya terkalibrasi dengan baik (ECE=0.030), memungkinkan penggunaan langsung sebagai bobot tepi dalam grafik visibilitas untuk pipa SfM dan SLAM tanpa koreksi pasca-hoc.