연구자들은 비전-언어 모델에서 바닐라 SAE가 모달리티 일관성 있는 개념을 학습하는 데 어려움을 겪는 문제를 해결하기 위해 구조화 희소 오토인코더(S²AE)를 제안했습니다. 이 방법은 트랜스포머 주의 유사성과 공간적 근접성을 기반으로 이미지 패치를 그룹화하고, 의미적 및 공간적 일관성을 강제하기 위해 구조화된 희소성 정규화를 적용합니다.

  • Qwen2.5-VL-7B-Instruct에서 평가된 S²AE는 의미 정렬(mIoU)에서 평균 6.06%의 향상과 표현 효율성(낮은 l0 노름)에서 60.81을 달성했습니다.
  • 이 접근 방식은 설명 분산이 99%를 초과하여 거의 완벽한 재구성 충실도를 유지합니다.
  • 교차 모달리티 분석은 두 모달리티 모두에서 의미적 일관성에서 평균 3.08%의 향상과 단일 의미성 점수에서 평균 2.37%의 향상을 보여줍니다.

잠재 뉴런이 명확하게 구분되고 의미적으로 기반된 개념에 특화되도록 유도함으로써, S²AE는 시각적 및 텍스트적 입력 전반에 걸쳐 더 일관되고 분리된 표현을 촉진합니다.