三阶段分析显示 SFT、RL 和 OPD 以不同方式塑造思维链信心

一项研究分析了监督微调 (SFT)、强化学习 (RL) 和在线策略蒸馏 (OPD) 如何在思维链推理期间重塑模型信心。作者引入了一个三阶段校准框架，在推理前、推理中和推理后评估信心，以评估难度估计、早期终止和答案聚合。

• OPD 为难度估计提供了最有用的推理前信心。
• SFT 为早期停止提供了最强的在线信号。
• RL 为答案聚合产生了最可靠的轨迹级信号。
• 信心的可靠性取决于位置；RL 在路径承诺阶段后变得具有信息量，而 OPD 稍后可能变成反向校准。

作者提出了 PosConf，一种位置感知策略，与多数投票相比将 RL 答案聚合提高了 6.1 分，并在严格的 token 预算下将 OPD 早期停止的收益提升至 4.3 分。