TACO尾部感知信用校准缓解大语言模型强化学习中的正信用污染

研究人员提出了Tail-Aware Credit calibratiOn (TACO)，一种解决大型语言模型无评论家强化学习中“Positive-Credit Contamination”失败模式的方法。当均匀信用分配不加区分地强化低概率的错误标记与合理的标记时，就会出现此问题。

• TACO基于局部生成上下文计算尾部风险评分，以区分意外罕见性与不确定性驱动的探索。
• 该方法为高风险标记调整正信用，逐渐抑制偶然噪声，同时允许重复出现的有用罕见模式积累强化。
• 在三个LLM和八个基准上的实验表明，TACO始终优于GRPO风格的基线方法。
• 该方法提高了训练稳定性，支持长周期RL中的持续性能提升。

作者认为这一点很重要，因为它减轻了 flawed reasoning behavior（有缺陷的推理行为）的强化，使复杂推理任务的学习更加稳定和有效。