OpenAI开发了GPT-Red，这是一个自动化的安全红队模型，通过自我博弈强化学习进行训练，旨在发现漏洞并生成对抗性数据，以改进未来的模型。

  • GPT-Red在主要后训练运行的计算规模上进行训练，其奖励系统设定为：成功诱导防御方LLM失败即视为成功。
  • 该模型被用于对GPT-5.6 Sol进行对抗性训练，与四个月前最佳生产模型相比，在直接提示注入基准测试中的失败率降低了6倍。
  • GPT-Red在新型场景中对GPT-5.1的攻击成功率达到84%，显著优于仅取得13%成功率的真人红队人员。
  • 它通过更改价格和取消订单，成功攻陷了一台模拟的AI驱动自动售货机，并对Codex CLI代理展示了高token效率。
  • 鲁棒性提升被证实源于对恶意指令的抵抗力增强，而非对合法请求拒绝率的增加；GPT-5.6 Sol仅有0.05%的GPT-Red直接注入失败。

这种方法建立了一个可扩展的安全“飞轮”，使当前模型能够直接增强未来发布版本的鲁棒性和对齐能力。