Les chercheurs proposent un Autoencodeur éparse structuré (S²AE) qui impose une cohérence conceptuelle à la fois du point de vue sémantique et spatial dans la modalité visuelle des modèles vision-langage. La méthode regroupe les patches d'image en fonction de la similarité de l'attention Transformer et de la proximité spatiale, introduisant une régularisation par parcimonie structurée pour orienter les neurones latents vers des concepts distincts et ancrés sémantiquement.
- Évalué sur Qwen2.5-VL-7B-Instruct, S²AE obtient une amélioration moyenne de 6,06 % en alignement sémantique (mIoU) et de 60,81 en efficacité représentationnelle (norme l0 inférieure).
- L'approche maintient une fidélité de reconstruction quasi-parfaite avec une variance expliquée supérieure à 99 %.
- L'analyse inter-modalités montre un gain moyen de 3,08 % en cohérence sémantique et un gain moyen de 2,37 % en scores de monosémanticité pour les deux modalités des caractéristiques multimodales.
En tirant parti des priors structurels visuels, S²AE améliore la monosémanticité neuronale, favorisant des représentations plus cohérentes et désentrelacées à travers les modalités.