Los investigadores proponen un Autoencoder Escaso Estructurado (S²AE) que impone consistencia de conceptos desde perspectivas tanto semánticas como espaciales en la modalidad visual de los modelos visiolingüísticos. El método agrupa parches de imagen basándose en la similitud de atención del Transformer y la proximidad espacial, introduciendo una regularización de escasez estructurada para dirigir las neuronas latentes hacia conceptos distintos y fundamentados semánticamente.
- Evaluado en Qwen2.5-VL-7B-Instruct, S²AE logra una mejora promedio del 6.06% en alineación semántica (mIoU) y 60.81 en eficiencia representacional (norma l0 inferior).
- El enfoque mantiene una fidelidad de reconstrucción casi perfecta con una Varianza Explicada superior al 99%.
- El análisis multimodal muestra una ganancia promedio del 3.08% en consistencia semántica y una ganancia promedio del 2.37% en puntuaciones de monosemanticidad para ambas modalidades de características multimodales.
Al aprovechar las pautas estructurales visuales, S²AE mejora la monosemanticidad neuronal, fomentando representaciones más coherentes y desacopladas entre modalidades.