Pesquisadores propõem um Autoencoder Espars Estruturado (S²AE) que impõe consistência de conceitos tanto sob a perspectiva semântica quanto espacial na modalidade visual de modelos visiolinguísticos. O método agrupa patches de imagem com base na similaridade de atenção do Transformer e proximidade espacial, introduzindo regularização de esparsidade estruturada para direcionar neurônios latentes a conceitos distintos e fundamentados semanticamente.
- Avaliado no Qwen2.5-VL-7B-Instruct, o S²AE alcança uma melhoria média de 6,06% no alinhamento semântico (mIoU) e 60,81 em eficiência representacional (norma l0 inferior).
- A abordagem mantém fidelidade de reconstrução quase perfeita com Variância Explicada acima de 99%.
- Análise cross-modal mostra um ganho médio de 3,08% na consistência semântica e um ganho médio de 2,37% nas pontuações de monosemanticidade para ambas as modalidades de características multimodais.
Ao alavancar priores estruturais visuais, o S²AE melhora a monosemanticidade neuronal, promovendo representações mais coerentes e desacopladas entre modalidades.