22の言語にわたる不確実性推定（UE）手法の大規模な評価により、モデルに英語で推論させることが特に低資源言語においてパフォーマンスを大幅に向上させることが明らかになった。本研究は、人間がキュレーションしたQ&Aデータセットを用いて長文の推論を引き出しつつ、9つのオープンボックスおよびクローズドボックスのUE手法を比較している。

  • 質問が低資源言語であっても、モデルに英語で推論させることでUEパフォーマンスが大幅に向上し、信頼性のボトルネックは理解ではなく生成にあることを示唆している。
  • 推論に英語を使用することで、低資源言語と高資源言語の間のUEパフォーマンスのギャップが解消され、質問言語よりも生成言語の方が重要であることが実証された。
  • 最適なUE手法はモデルの規模に依存する：小規模なスケールでは確率ベースのオープンボックス手法が他の手法を上回り、大規模なスケールでは自己言文化された不確実性が優れている。

著者らは、多言語設定における拒否のキャリブレーションを支援するために、選択的予測のための閾値選択に関するガイダンスを提供している。