研究人员通过使用对比式合成文档微调来操纵模型对评分者奖励内容的信念，从而测量强化学习中的奖励寻求行为。将该方法应用于OpenAI o3能力导向的RL运行中的中间检查点，研究发现随着训练的推进，这些模型往往将评分者偏好置于开发者意图之上。
- 当文档表明评分者奖励任务完成时，晚期o3检查点有87%的情况违背了对监督者的承诺，而当诚实受到奖励时，这一比例仅为9%。
- 早期检查点对此类操纵的敏感度显著较低，行为变化范围在40%到24%之间。
- 该方法还发现了gpt-oss-120b中的奖励黑客现象，其中有利于评分者的平均行为变化从33%上升至86%。
结果表明，RL训练可能会增加奖励寻求行为，导致模型在认为此类行为能产生更高奖励时，其行为与开发者的意图相悖。