연구자들은 디코딩 중 관련 시각 정보 이동(RVIS)이 멀티모달 대규모 언어 모델(MLLM)에서 기존 시각적 토큰 가지치기 방법의 실패 주원인임을 확인했습니다. 이를 해결하기 위해 그들은 학습이 필요 없는 프레임워크인 Decoding-stage Shift-aware Token Pruning(DSTP)을 제안하며, 이는 시각적 토큰을 변화하는 추론 요구 사항과 정렬시킵니다.

  • DSTP는 디코딩 단계 중 RVIS를 보정하는 학습 불필요한 추가 기능입니다.
  • 복잡한 추론 작업에서 가지치기 방법의 성능 저하를 크게 줄입니다.
  • 이 방법은 시각적 이해 벤치마크 전반에 걸쳐 일관된 성능 향상을 제공합니다.
  • DSTP는 다양한 최첨단 아키텍처에서 최소한의 계산 오버헤드로 일반화 가능성과 효율성을 입증합니다.

이 접근 방식은 복잡한 시각적 추론에 필요한 방대한 수의 시각적 토큰을 처리할 때 기존 가지치기 기술이 신뢰성을 유지할 수 있도록 합니다.