拉格朗日奖励增强（LARA）实现安全的推理时对齐

研究人员提出了拉格朗日奖励增强（LARA），这是一种在显式安全约束下引导冻结语言模型进行解码的框架，无需重复更新权重。LARA 对约束进行对偶化，将优化简化为一维凸问题，生成一个增广奖励，作为现有方法的即插即用评分信号。

• 该方法源自使用奖励和成本模型的 KL 正则化约束目标。
• 它在小型校准集上估计对偶变量以定义增广奖励。
• 对于序列级采样（如 Best-of-N reranking），该变量求解期望成本约束问题。
• 对于词元级解码，它提供了一种原理性的对偶校准启发式方法。

LARA 改善了有用性与无害性之间的权衡，Best-of-N 的性能接近基于微调的直接对齐基线。