RLSR 使用 AURC 通过选择性预测对齐大语言模型

研究人员提出了用于选择奖励的强化学习（Reinforcement Learning for Selection Reward, RLSR），这是一种新颖的框架，旨在后训练阶段对齐大型语言模型，以优化选择性预测性能。与现有关注正确性或校准的方法不同，RLSR 将其对齐目标设定为风险-覆盖率曲线下的面积（AURC）。

• 该方法允许大语言模型仅对可能正确的输入进行预测，从而降低错误率并将不确定的案例标记供人工审查。
• RLSR 在域内和域外任务上均实现了比多种对齐基线方法显著更好的风险-覆盖率权衡。

这种方法通过平衡风险-覆盖率权衡并实现人机协作的无缝衔接，提高了大语言模型在高风险决策系统中的可靠性。