OpenAI ने अपने ही सिस्टम में प्रॉम्प्ट इंजेक्शन कमजोरियों की पहचान करने के लिए डिज़ाइन किए गए GPT-Red, एक आंतरिक-केवल स्वचलित रेड-टीमिंग मॉडल पर विवरण प्रकाशित किया है। यह सिस्टम विविध परिदृश्यों पर हमला करने और बचाव करने के लिए सेल्फ-प्ले रीइन्फोर्समेंट लर्निंग का उपयोग करता है, जो मानव रेड-टीमिंग की स्केलेबिलिटी सीमाओं को संबोधित करता है।
- GPT-Red ने GPT-5.1 के खिलाफ अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन परिदृश्यों पर 84% सफलता दर हासिल की, जबकि मानव रेड-टीमर्स के लिए यह 13% था।
- मॉडल ने एक नवीन "फेक चेन-ऑफ-थाट" हमला खोजा, जिसने GPT-5.1 के खिलाफ 95% से अधिक सफलता हासिल की लेकिन GPT-5.6 Sol के खिलाफ 10% से कम रही।
- लाइव केस स्टडीज़ में, GPT-Red ने एक वेंडिंग मशीन एजेंट को सफलतापूर्वक प्रभावित किया ताकि वह कीमतों को बदल सके और ऑर्डर रद्द कर सके।
- डिफेंडर्स को प्रशिक्षित करने के लिए उन्हें हमलों का प्रतिरोध करते हुए भी अपने मूल कार्यों को पूरा करना आवश्यक था, जिससे रिफ्यूज़ल-आधारित जीत को रोका गया।
इन निष्कर्षों ने एजेंटिक सिस्टम के लिए बढ़ते अटैक सर्फेस को उजागर किया और दिखाया कि स्वचलित रेड-टीमिंग उन कमजोरियों को कैसे उजागर कर सकती है जिन्हें मानव टीम छूट जाती हैं।