세 가지 계열(2B~14B)의 다섯 가지 지시 조정 모델에 걸친 연구는 LLM 기권에 답변 정확성과 질문 답변 가능성이라는 두 개의 뚜렷한 축이 있음을 확인했습니다. 이 연구는 일반적인 답변 신뢰도가 답변이 맞는지 여부를 추적하지만 질문이 답할 수 있는지 여부는 거의 파악하지 못하는 반면, 은닉 상태의 선형 프로브는 답변 불가능성을 감지한다는 것을 발견했습니다.
- 잘못된 전제의 질문(CREPE)에서 표준 지표는 확률 수준 근처에 머무르는 반면, 은닉 상태 프로브는 0.69~0.77 AUROC에 도달합니다.
- 모델에게 전제를 확인하도록 지시하면 57%의 오도된 도전이 발생하지만, 프로브를 통해 라우팅된 지시는 도전 정밀도를 세 배로 높입니다.
- 답변 가능성과 정확성 모두에 대해 0.75의 커버리지를 보장하는 교정된 정책은 단일 임계값의 실패와 비교하여 0.31의 올바른 답변 커버리지를 달성합니다.
이 접근 방식은 모든 규모에서 답변 불가능한 답변률을 제어 가능하게 하면서 모델 정확도에 따라 잘못된 답변률을 제한할 수 있게 합니다.