비전-언어 모델에서 시각 정보 흐름을 위한 두 가지 명확한 경로에 대한 연구

한 연구는 합성 및 자연 데이터셋에 대한 인과 패칭(causal patching)을 사용하여 비전-언어 모델(VLM) 내에서 시각 정보가 어떻게 라우팅되는지 조사합니다. 이 연구는 두 가지 주요 메커니즘을 확인했습니다: 시각 데이터가 이미지 토큰 내에 남아 있는 직접 경로와 정보가 먼저 쿼리 토큰으로 전달되는 텍스트 매개 경로입니다.

• 모델은 나중에 읽기(readout)를 위해 이미지 토큰 표현에 시각 정보를 유지함으로써 직접 경로를 활용합니다.
• 텍스트 매개 경로에는 최종 토큰이 이를 처리하기 전에 시각 데이터를 쿼리 토큰으로 전달하는 것이 포함됩니다.
• 경로 선택은 특정 작업, 데이터 분포 및 프롬프트 설계에 따라 달라집니다.
• 어텐션 knockout과 손상된 입력 패칭(corrupted-input patching)은 주요 경로가 제거(ablated)되었을 때 모델이 대체 수단으로 텍스트 매개 경로로 유연하게 전환할 수 있음을 보여줍니다.

이러한 발견은 VLM 내 시각 정보 흐름의 기계적 특성을 제공하며, 개입(intervention) 하에서 내부 메커니즘의 유연성을 강조합니다.