연구자들은 기존 시각 토큰 가지치기 방법들이 밀집 지시 하에서 중요한 단서를 보존하지 못하는 문제를 해결하기 위해 설계된 프레임워크인 엔트로피 인식 밀집 가지치기(EADP)를 제안한다. 이 접근법은 통계적 엔트로피를 활용하여 텍스트 노이즈를 필터링하고 토큰 선택을 공간 사전 확률 하의 부분모듈러 최대화 문제로 캐스팅함으로써 가지치기를 구조화된 압축 문제로 재정의한다.

  • EADP는 통계적 엔트로피를 사용하여 텍스트 노이즈를 정량화 및 필터링하여 견고한 지시 관련성 점수를 산출한다.
  • 토큰 선택은 공간 사전 확률 하의 부분모듈러 최대화 문제로 캐스팅되어 포괄적이고 중복되지 않는 시각 표현을 보장한다.
  • 이 방법은 엄격한 토큰 예산 하에서 비전-언어 모델(VLMs)의 정확도-효율성 트레이드오프를 개선한다.
  • EADP는 미세한 시각적 단서를 보존하면서 까다로운 멀티모달 벤치마크에서 최첨단 성능을 달성한다.

저자들은 이것이 단순한 Top-K 선택으로 종종 손실되는 미세한 시각적 단서를 견고하게 보존하여 VLMs의 전반적인 효율성과 정확도를 개선하기 때문에 중요하다고 간주한다.