研究者らは、大規模言語モデルのポストトレーニング時に選択的予測のパフォーマンスを最適化するためにアラインする、Reinforcement Learning for Selection Reward (RLSR) という新規フレームワークを提案した。既存の正解率や較正に焦点を当てる手法とは異なり、RLSRはアラインメント目的としてリスク・カバレッジ曲線下面積（AURC）を対象とする。

  • この手法により、LLMは自身が高い確率で正解すると予測できる入力のみに対して予測を行い、誤り率を低減し、不確実なケースを人間のレビューに付標する。
  • RLSRは、ドメイン内およびドメイン外の両方のタスクにおいて、複数のアラインメントベースラインと比較して、大幅に優れたリスク・カバレッジのトレードオフを実現する。

このアプローチは、リスク・カバレッジのトレードオフをバランスさせ、高 stakes の意思決定システムにおけるシームレスな人間-AI連携を可能にすることで、LLMの信頼性を向上させる。