연구자들은 시각 언어 모델의 시각 모달리티에서 의미론적 및 공간적 관점 모두에서 개념 일관성을 강제하는 구조화된 희소 오토인코더(S²AE)를 제안한다. 이 방법은 트랜스포머 주의 유사성과 공간적 근접성에 기반하여 이미지 패치를 그룹화하고, 잠재 뉴런이 명확하게 구분되며 의미론적으로 근거된 개념을 향하도록 유도하기 위해 구조화된 희소성 정규화를 도입한다.

  • Qwen2.5-VL-7B-Instruct에서 평가한 결과, S²AE는 의미 정렬(mIoU)에서 평균 6.06% 향상과 표현 효율성(낮은 l0 노름)에서 60.81을 달성했다.
  • 이 접근 방식은 설명 분산이 99%를 초과하여 거의 완벽한 재구성 충실도를 유지한다.
  • 교차 모달리티 분석은 다중 모달리티 특징의 두 모달리티 모두에서 의미론적 일관성에서 평균 3.08% 향상과 단일 의미성 점수에서 평균 2.37% 향상을 보여준다.

시각 구조 사전지식을 활용함으로써 S²AE는 뉴런의 단일 의미성을 강화하여 모달리티 간에 더 일관되고 분리된 표현을 촉진한다.