लेखकों ने संस्थागत रेड-टीमिंग का परिचय दिया, एक मूल्यांकन विधि जो बहु-एजेंट AI प्रणालियों में सामूहिक व्यवहार पर तैनाती के नियमों के कारण प्रभाव को अलग करती है। IABench-CA बेंचमार्क का उपयोग करते हुए, जिसमें 33,924 गेमों में 228 संदर्भ और मॉडल आबादी के सात समूह शामिल हैं, अध्ययन दिखाता है कि केवल एक नियम बदलने से सुरक्षा परिणाम महत्वपूर्ण रूप से बदल जाते हैं।
- परिणाम नियमों को बदलने से प्रत्येक परीक्षित आबादी में औसत हत्या दर 22 से 58 प्रतिशत बिंदुओं तक खिसकती है।
- पश्चगामी पहचान-लक्षित कभी भी निश्चित रूप से सबसे सुरक्षित नहीं होता और सभी आबादी में गेमों के 30-87% में सबसे कम संसाधन वाले एजेंट को समाप्त कर देता है।
- पहचान की सैलिएंस लक्षित समाप्ति को बढ़ावा देती है, हानि वहनकर्ता का नामकरण समान भुगतान के साथ 22% से 81% तक लक्षित करना बढ़ा देता है।
- गुमनामी केवल दोहराए गए खेल में लक्षित करने को विलंबित करती है क्योंकि एजेंट देखी गई समाप्ति से छिपे नियमों को पुनः अनुमानित करते हैं।
विधि को एक safety-case कार्यप्रवाह के रूप में पैक किया गया है जो प्रत्येक तैनाती संदर्भ और आबादी के लिए एक अस्थायी नियम क्षेत्र को प्रमाणित करता है, स्पष्ट अवशिष्ट जोखिमों और निगरानी की जिम्मेदारियों को प्रदान करता है।