OpenAI telah menerbitkan rincian mengenai GPT-Red, sebuah model red-teaming otomatis yang hanya digunakan secara internal dan dirancang untuk mengidentifikasi kerentanan injeksi prompt dalam sistemnya sendiri. Sistem ini menggunakan pembelajaran penguatan self-play untuk menyerang dan membela diri dari berbagai skenario, mengatasi batas skalabilitas red-teaming oleh manusia.
- GPT-Red mencapai tingkat keberhasilan 84% pada skenario injeksi prompt tidak langsung terhadap GPT-5.1, dibandingkan dengan 13% untuk tim red-teamer manusia.
- Model ini menemukan serangan "Fake Chain-of-Thought" yang baru, mencapai keberhasilan lebih dari 95% terhadap GPT-5.1 namun di bawah 10% terhadap GPT-5.6 Sol.
- Dalam studi kasus langsung, GPT-Red berhasil memanipulasi agen mesin penjual otomatis untuk mengubah harga dan membatalkan pesanan.
- Melatih pembela memerlukan mereka untuk menahan serangan sambil tetap menyelesaikan tugas asli mereka, mencegah kemenangan berbasis penolakan.
Temuan ini menyoroti permukaan serangan yang semakin besar untuk sistem agentic dan menunjukkan bagaimana red-teaming otomatis dapat mengungkap kerentanan yang terlewatkan oleh tim manusia.