研究人员推出了 DRIFTLENS,这是一个无需 ground-truth 的框架,用于量化用户属性记忆如何重塑大型语言模型的推理轨迹。该研究验证了该框架能够在四个 LLM 和十个用户属性类别中区分实质性的推理变化与实用性噪声。
- 即使用户的最终回答依然流畅且合理,用户属性记忆仍会引发高于实用性噪声底线的中等至大规模推理漂移。
- 基于 GRPO 和 DPO 的后期训练方法可以减少这种漂移,但没有任何一种在有效性上占据绝对优势。
- 缓解策略对下游能力、有用性和指令遵循的影响取决于模型和奖励函数。
结果表明,由记忆引发的推理漂移是个性化语言模型的一种可测量的失效模式,目前的后期训练技术只能部分缓解这一问题。