연구자들은 시각 인식 병목 현상과 지식 검색 결핍을 구분함으로써 비전-언어 모델이 실패하는 원인을 진단하기 위한 통합 프레임워크를 제안합니다. 이 연구는 생성 전 신호가 다양한 데이터세트와 모델 패밀리 전반에 걸쳐 이러한 특정 실패 원인을 예측할 수 있는지 조사합니다.
- 시각적 또는 인식 병목 현상에서 발생하는 실패는 비전 토큰 표현으로 가장 잘 포착됩니다.
- 엔티티 식별 후 지속되는 오류는 프롬프트 조건부 은닉 상태로 더 잘 예측됩니다.
- 이러한 생성 전 신호는 모델이 답변을 생성하기 전에 효율적인 실패 원인 예측을 가능하게 합니다.
- 불확실한 사례는 이미지 복구, 엔티티 인식 지원 또는 외부 검색과 같은 대상 개입으로 라우팅할 수 있습니다.
이 접근 방식은 VLM의 불확실성에 대한 더 정밀한 진단을 가능하게 하여, 잘못된 답변을 일괄적인 실패로 처리하는 대신 특정 시정 조치를 가능하게 합니다.