NVIDIA शोधकर्ताओं द्वारा एक स्थिति पत्र ने AI एजेंट्स को अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन हमलों से सुरक्षित करने की दृष्टि रेखांकित की है, जहां अविश्वसनीय डेटा में एम्बेडेड दुर्भावनापूर्ण निर्देश खतरनाक कार्यों को ट्रिगर करते हैं। लेखकों का तर्क है कि प्रभावी रक्षा के लिए मॉडल फिक्स से परे जाकर व्यापक सिस्टम-स्तरीय आर्किटेक्चर की आवश्यकता है।
- गतिशील कार्यों और यथार्थवादी वातावरण को संभालने के लिए गतिशील पुनः योजना और सुरक्षा नीति अपडेट आवश्यक हैं।
- संदर्भ-निर्भर सुरक्षा निर्णयों को LLMs पर केवल उन डिजाइनों में ही निर्भर होना चाहिए जो मॉडल द्वारा देखे और निर्णय लेने की क्षमता को कठोरता से सीमित करते हैं।
- स्वभाव से अस्पष्ट मामलों के लिए व्यक्तिगतकरण और मानव इंटरैक्शन डिजाइन विचारों का केंद्र होने चाहिए।
- मौजूदा बेंचमार्क्स अपनी सीमाओं के कारण उपयोगिता और सुरक्षा की एक झूठी भावना पैदा करते हैं।
सिस्टम-स्तरीय रक्षाएं एजेंटिक सिस्टम के लिए संरचनात्मक कंकाल का काम करती हैं, नियम-आधारित और मॉडल-आधारित जांच को एकीकृत करके, मजबूती पर अधिक लक्षित शोध की सुविधा देती हैं।