研究は、教師ありファインチューニング（SFT）、強化学習（RL）、オンポリシー蒸留（OPD）が思考チェーン推論中のモデルの信頼性をどのように再形成するかを分析している。著者は、困難度の推定、早期終了、回答集約を評価するために、推論前、推論中、推論後の信頼性を評価する三段階の較正フレームワークを導入した。

  • OPDは、困難度推定に対して最も有用な推論前の信頼性を提供する。
  • SFTは、早期停止に対して最も強力なオンラインシグナルを提供する。
  • RLは、回答集約に対して最も信頼性の高いトレースレベルのシグナルを生成する。
  • 信頼性の信頼度は位置に依存し、RLはパスコミットメントフェーズ後に有用になる一方、OPDは後で逆較正される可能性がある。

著者は、多数派投票よりも6.1ポイント向上し、厳しいトークン制約下でOPDの早期停止の利点を最大4.3ポイント引き上げる位置認識戦略であるPosConfを提案している。