CARE-PPO 实现语言类定量任务中准确预测与可靠置信度的联合学习

研究人员引入了 CARE-PPO，这是一个强化学习框架，将用于不确定性估计的损失预测与 actor-critic PPO 微调相连接。该方法允许从非结构化输入中进行基于语言的定量预测时，联合学习准确的数值估计和可靠的置信度信号。

• CARE-PPO 利用 Confidence-Aligned Reward for Estimation 向 actor 提供密集的误差感知反馈，同时使 critic 与预测质量对齐。
• 在推理过程中，critic 被重新用作置信度估计器，在对齐方面优于基于 logits 和口头化的基线方法。
• 在使用 Qwen-3 模型（4B 和 8B）的医疗和金融任务上进行的评估显示，CARE-PPO 在分布外设置下实现了强大的定量性能。
• 该方法减少了针对通用指令跟随提示的任务特定过拟合，展示了 RL 微调更广泛的泛化优势。

CARE-PPO 通过提供比现有基线方法显著更好对齐的置信度估计，解决了知道何时可以信任预测的关键需求。