Co-VGGT usa a especialização de camadas do VGGT para melhorar a classificação de co-visibilidade

Pesquisadores demonstram que o modelo fundamental geométrico VGGT codifica implicitamente a co-visibilidade, com as primeiras camadas construindo representações conscientes do 3D e as últimas camadas atuando como raciocinadores dedicados. Especificamente, a camada L17 serve como uma âncora negativa para pares não co-visíveis, fornecendo evidência de especialização de camadas.

Com base nessa descoberta, os autores introduzem o Co-VGGT, que congela o VGGT e treina uma cabeça leve de mistura de especialistas (mixture-of-experts) camada por camada com menos de 7.5M de parâmetros para classificar a co-visibilidade apenas a partir de imagens RGB.

No benchmark Co-VisiON, o Co-VGGT supera a linha de base de anotação humana, melhorando os resultados em pares em mais de 25% e os resultados multiview em 10%. Suas previsões estão bem calibradas (ECE=0.030), permitindo uso direto como pesos de aresta em grafos de visibilidade para pipelines de SfM e SLAM sem correção posterior.