OpenAIは、自社のシステムにおけるプロンプトインジェクションの脆弱性を特定するために設計された、内部専用の自動レッドチームングモデルであるGPT-Redに関する詳細を公開した。このシステムは自己対戦強化学習を用いて多様なシナリオに対して攻撃と防御を行い、人間のレッドチームングのスケーラビリティの限界に対処している。

  • GPT-RedはGPT-5.1に対する間接プロンプトインジェクションシナリオで84%の成功率を達成し、人間のレッドチーマーの13%と比較して大幅に上回った。
  • このモデルは新たな「偽チェーン・オブ・ソート」攻撃を発見し、GPT-5.1に対して95%以上の成功率を記録したが、GPT-5.6 Solに対しては10%未満にとどまった。
  • 実際のケーススタディでは、GPT-Redは自動販売機のエージェントを操作して価格の変更と注文のキャンセルに成功した。
  • 防御側のトレーニングでは、攻撃に対して耐えながらも元のタスクを完了させる必要があり、拒否による勝利を防いでいる。

これらの知見は、エージェントシステムにおける攻撃面の拡大を示し、自動化されたレッドチームングが人間のチームが見逃す脆弱性をどのように発見できるかを実証している。