Les chercheurs proposent un AutoEncodeur Creux Structuré (S²AE) qui répond à la difficulté des SAE classiques à apprendre des concepts cohérents entre les modalités dans les modèles vision-langage. La méthode regroupe les patches d'image en fonction de la similarité d'attention du Transformer et de la proximité spatiale, appliquant une régularisation de sparsité structurée pour imposer la cohérence sémantique et spatiale.
- Évalué sur Qwen2.5-VL-7B-Instruct, le S²AE atteint une amélioration moyenne de 6,06 % en alignement sémantique (mIoU) et 60,81 en efficacité représentationnelle (norme l0 inférieure).
- L'approche maintient une fidélité de reconstruction quasi-parfaite avec une Variance Expliquée supérieure à 99 %.
- L'analyse inter-modalités montre un gain moyen de 3,08 % en cohérence sémantique et un gain moyen de 2,37 % en scores de monosémiticité pour les deux modalités.
En poussant les neurones latents à se spécialiser dans des concepts distincts et ancrés sémantiquement, le S²AE favorise des représentations plus cohérentes et désenchevêtrées à travers les entrées visuelles et textuelles.