Co-VGGT utiliza la especialización de capas de VGGT para mejorar la clasificación de co-visibilidad

Los investigadores demuestran que el modelo fundamental geométrico VGGT codifica implícitamente la co-visibilidad, con las primeras capas construyendo representaciones conscientes del 3D y las últimas capas actuando como razonadores dedicados. Específicamente, la capa L17 sirve como un ancla negativa para pares no co-visibles, proporcionando evidencia de especialización de capas.

Sobre la base de este hallazgo, los autores introducen Co-VGGT, que congela VGGT y entrena una cabeza ligera de mezcla de expertos capa por capa con menos de 7.5M de parámetros para clasificar la co-visibilidad únicamente a partir de imágenes RGB.

En el benchmark Co-VisiON, Co-VGGT supera la línea base de anotación humana, mejorando los resultados por pares en más del 25% y los resultados multivista en un 10%. Sus predicciones están bien calibradas (ECE=0.030), lo que permite su uso directo como pesos de aristas en grafos de visibilidad para pipelines de SfM y SLAM sin corrección posterior.