ProLaViT는 MLLM이 잠재 공간에서 구조화된 시각적 유추를 수행할 수 있게 함

본 논문은 멀티모달 대규모 언어 모델(MLLM)이 연속적인 잠재 공간 내에서 구조화된 시각적 유추를 수행할 수 있도록 하는 프레임워크인 ProLaViT(Progressive Latent Visual Thought)를 소개합니다. 외부 전문가에 의존하는 접근 방식과 달리, 모델 자신의 시각 인코더가 잠재적 사고를 감독하는 내생적 자기 증류 메커니즘을 사용합니다.

• 추론 시간 도구 없이 알고리즘적 정밀도를 내부화하기 위해 확장 가능한 프로그래매틱 합성 파이프라인을 활용합니다.
• 이 프레임워크는 두 가지 추론 패러다임을 설계합니다: 공간 작업용 Coarse-to-Fine Causal Chain과 논리 작업용 Dialectical Reasoning Chain입니다.
• 토폴로지 인식 제약을 부과하고 특징의 퇴화를 방지하기 위해 Distance-Weighted Diversity Loss가 제안됩니다.

실험 결과, ProLaViT는 시각 중심 벤치마크에서 베이스라인을 능가하며 높은 효율성으로 우수한 정확성과 해석 가능성을 달성하는 것으로 나타났습니다.