세 가지 계열(2B~14B)의 다섯 가지 지시 학습 모델을 아우르는 연구는 모델 거부가 답변 정확성과 질문 답변 가능성이라는 두 개의 독립된 축을 포함함을 보여줍니다. 이 연구는 표준 신뢰도 점수가 정확성을 추적하지만, 질문이 실제로 답변 가능한지 여부는 거의 감지하지 못하며, 특히 잘못된 전제를 가진 질문에 대해 그러함을 발견했습니다.
- 숨겨진 상태에 대한 선형 프로브는 0.69에서 0.77 AUROC로 답변 불가능한 질문을 감지할 수 있는 반면, P(IK) 및 P(True)와 같은 표준 지표는 우연 수준 근처에 머무릅니다.
- 모델에게 전제를 확인하도록 지시하면 역효과가 발생하여 올바른 전제에도 이의를 제기하게 되며(57%가 잘못된 이의), 프로브를 통해 라우팅 지시를 수행하면 이의 정밀도가 세 배가 됩니다.
- 답변 가능성과 정확성 점수를 별도로 사용하는 교정된 정책은 임계값 0.75에서 정답의 0.75 커버리지를 인증하는 반면, 단일 임계값일 경우 0.31에 불과합니다.
이 접근 방식은 모든 규모에서 답변 불가능한 답변률을 제어 가능하게 하고 모델 정확도에 의해 부정답변률을 제한함으로써 단일 임계값 방법보다 더 엄격한 보장을 제공합니다.