研究者らは、不確実性推定の損失予測とactor-critic PPOファインチューニングを結びつける強化学習フレームワークであるCARE-PPOを紹介する。このアプローチにより、非構造化入力からの言語ベースの定量的予測において、正確な数値推定と信頼できる自信信号の共同学習が可能になる。

  • CARE-PPOは、アクターに密なエラー認識フィードバックを提供し、クリティックを予測品質と整合させるために、Confidence-Aligned Reward for Estimationを利用する。
  • クリティックは推論時に自信推定量として再利用され、ロジットベースや言語化されたベースラインと比較して整合性で優れている。
  • Qwen-3モデル（4Bおよび8B）を使用して医療および金融タスクで評価され、CARE-PPOは分布外設定下で強力な定量的パフォーマンスを達成する。
  • この手法は、一般的な指示フォロープロンプト上でのタスク固有の過学習を軽減し、RLファインチューニングのより広い汎化の利点を示している。

CARE-PPOは、既存のベースラインよりも大幅に良く整合された自信推定を提供することで、予測が信頼できる時期を知るという重要なニーズに対処する。