22개 언어에 걸쳐 불확실성 추정(UE) 방법을 대규모로 평가한 결과, 모델이 영어로 추론하도록 프롬프트하는 것이 특히 저자원 언어에서 성능을 크게 향상시킨다는 사실이 밝혀졌습니다. 이 연구는 사람이 큐레이션한 Q&A 데이터셋을 사용하여 긴 형식의 추론을 유도하면서 9개의 오픈박스 및 클로즈드박스 UE 방법을 비교합니다.

  • 질문이 저자원 언어로 되어 있더라도 모델이 영어로 추론하도록 프롬프트하면 UE 성능이 크게 향상되며, 이는 신뢰성 병목 현상이 이해가 아닌 생성에 있음을 시사합니다.
  • 추론에 영어를 사용하면 저자원 언어와 고자원 언어 간의 UE 성능 격차가 해소되어, 질문 언어보다 생성 언어가 더 중요함을 보여줍니다.
  • 최적의 UE 방법은 모델 규모에 따라 달라집니다: 작은 규모에서는 확률 기반 오픈박스 방법이 다른 방법보다 우수하며, 큰 규모에서는 자기 음성화된 불확실성이 가장 뛰어납니다.

저자들은 다국어 설정에서 보류 보정을 돕기 위해 선택적 예측을 위한 임계값 선택에 대한 지침을 제공합니다.