OpenAI 发布了 GPT-Red 的详细信息，这是一个仅限内部使用的自动化红队测试模型，旨在识别其自身系统中的提示注入漏洞。该系统利用自我对弈强化学习来攻击和防御各种场景，解决了人工红队测试在可扩展性方面的局限。

  • GPT-Red 在针对 GPT-5.1 的间接提示注入场景中取得了 84% 的成功率，而人类红队测试人员的成功率仅为 13%。
  • 该模型发现了一种新颖的“虚假思维链”攻击方法，对 GPT-5.1 的成功率超过 95%，但对 GPT-5.6 Sol 的成功率低于 10%。
  • 在实时案例研究中，GPT-Red 成功操纵了一个自动售货机代理，修改了价格并取消了订单。
  • 训练防御者需要它们在抵御攻击的同时仍能完成原始任务，从而防止基于拒绝的胜利。

这些发现凸显了智能体系统日益扩大的攻击面，并展示了自动化红队测试如何揭示人类团队可能遗漏的漏洞。