OpenAI telah mengembangkan GPT-Red, sebuah model red-teaming keamanan otomatis yang dilatih melalui pembelajaran penguatan self-play untuk mengungkap kerentanan dan menghasilkan data adversarial guna meningkatkan model di masa depan.
- GPT-Red dilatih pada skala komputasi dari run pasca-pelatihan utama, menggunakan sistem reward di mana ia berhasil dengan memicu kegagalan dari LLM defender.
- Model ini digunakan untuk melatih GPT-5.6 Sol secara adversarial, menghasilkan 6x lebih sedikit kegagalan pada benchmark injeksi prompt langsung dibandingkan dengan model produksi terbaik dari empat bulan sebelumnya.
- GPT-Red mencapai tingkat keberhasilan serangan 84% terhadap GPT-5.1 dalam skenario baru, jauh melampaui red-teamer manusia yang mencapai 13%.
- Model ini berhasil meretas mesin penjual otomatis berbasis AI simulasi dengan mengubah harga dan membatalkan pesanan, serta menunjukkan efisiensi token yang tinggi terhadap agen Codex CLI.
- Peningkatan ketahanan diverifikasi berasal dari resistensi terhadap instruksi jahat daripada peningkatan penolakan permintaan sah, dengan GPT-5.6 Sol hanya gagal pada 0,05% injeksi langsung dari GPT-Red.
Pendekatan ini menetapkan "flywheel" skalabel untuk keamanan, memungkinkan model saat ini secara langsung meningkatkan ketahanan dan alignment dari rilis di masa depan.