L'article présente ProLaViT (Progressive Latent Visual Thought), un cadre qui permet aux Modèles de Langage Multimodaux à Grande Échelle (MLLM) d'effectuer une dérivation visuelle structurée au sein d'un espace latent continu. Contrairement aux approches reposant sur des experts externes, il utilise un mécanisme d'auto-distillation endogène où l'encodeur visuel du modèle supervise les pensées latentes.
- Il utilise un pipeline de synthèse programmatique évolutif pour internaliser la précision algorithmique sans outils au moment de l'inférence.
- Le cadre conçoit deux paradigmes de raisonnement : une Chaîne Causale Grossière-vers-Fine pour les tâches spatiales et une Chaîne de Raisonnement Dialectique pour les tâches logiques.
- Une Perte de Diversité Pondérée par la Distance est proposée pour imposer des contraintes conscientes de la topologie et prévenir la dégénérescence des caractéristiques.
Les expériences démontrent que ProLaViT surpasse les méthodes de référence sur les benchmarks centrés sur la vision, atteignant une précision et une interprétabilité supérieures avec une haute efficacité.