OpenAIはGPT-Redを開発した。これは自動化されたセキュリティレッドチームングモデルで、自己プレイ強化学習によって訓練され、脆弱性を発見し、将来のモデルの改善のために敵対的データを生成する。

  • GPT-Redは主要なポストトレーニングランの計算規模で訓練され、防御側LLMから失敗を引き出すことで成功する報酬システムを使用している。
  • このモデルはGPT-5.6 Solに対して敵対的訓練に使用され、その結果、4ヶ月前のベストなプロダクションモデルと比較してダイレクトプロンプトインジェクションベンチマークでの失敗が6倍減少した。
  • GPT-Redは新しいシナリオにおいてGPT-5.1に対して84%の攻撃成功率を達成し、13%の成功率にとどまった人間のレッドチームメンバーを大幅に上回った。
  • 価格の変更や注文のキャンセルによって模擬AI搭載自動販売機への侵入に成功し、Codex CLIエージェントに対して高いトークン効率を示した。
  • 堅牢性の向上は、正当なリクエストの拒否増加ではなく悪意のある指示に対する耐性によるものであることが検証されており、GPT-5.6 SolはGPT-Redのダイレクトインジェクションに対してわずか0.05%で失敗した。

このアプローチは安全性のためのスケーラブルな「フライングホイール」を確立し、今日のモデルが明日のリリースの堅牢性とアライメントを直接強化することを可能にする。