Los investigadores proponen un Autoencoder Esparsamente Estructurado (S²AE) que aborda la dificultad de los SAE estándar para aprender conceptos consistentes por modalidad en modelos de visión-lenguaje. El método agrupa parches de imagen basándose en la similitud de atención del Transformer y la proximidad espacial, aplicando regularización de esparsidad estructurada para imponer consistencia semántica y espacial.
- Evaluado en Qwen2.5-VL-7B-Instruct, S²AE logra una mejora promedio del 6.06% en alineación semántica (mIoU) y 60.81 en eficiencia representacional (norma l0 más baja).
- El enfoque mantiene una fidelidad de reconstrucción casi perfecta con una Varianza Explicada superior al 99%.
- El análisis multimodal muestra una ganancia promedio del 3.08% en consistencia semántica y una ganancia promedio del 2.37% en puntuaciones de monosemanticidad para ambas modalidades.
Al impulsar a las neuronas latentes a especializarse en conceptos distintos y fundamentados semánticamente, S²AE fomenta representaciones más coherentes y desacopladas tanto en entradas visuales como textuales.