Pesquisadores propõem um Autoencoder Esparsamente Estruturado (S²AE) que aborda a dificuldade dos SAEs convencionais em aprender conceitos consistentes por modalidade em modelos de visão-linguagem. O método agrupa patches de imagem com base na similaridade de atenção do Transformer e proximidade espacial, aplicando regularização de esparsidade estruturada para impor consistência semântica e espacial.
- Avaliado no Qwen2.5-VL-7B-Instruct, o S²AE alcança uma melhoria média de 6,06% no alinhamento semântico (mIoU) e 60,81 em eficiência representacional (norma l0 mais baixa).
- A abordagem mantém fidelidade de reconstrução quase perfeita com Variância Explicada acima de 99%.
- A análise cross-modal mostra um ganho médio de 3,08% na consistência semântica e um ganho médio de 2,37% nas pontuações de monosemanticidade para ambas as modalidades.
Ao direcionar neurônios latentes a se especializarem em conceitos distintos e fundamentados semanticamente, o S²AE fomenta representações mais coerentes e desacopladas tanto em entradas visuais quanto textuais.