उपयोगकर्ताओं को प्रॉम्प्ट इंजेक्शन हमलों से बचाने के लिए Anthropic ने हाल ही में क्लॉड कोड के ऑटो मोड को डिफ़ॉल्ट बना दिया, लेकिन शोधकर्ता जोहान रेहबर्गर ने इस सुरक्षा तंत्र में एक महत्वपूर्ण कमजोरी दिखाई है। उन्होंने एक हमले की पहचान की जो लगभग 80% समय में सफल होता है, जिसमें एजेंट को एक खतरनाक पायथन फ़ाइल वाला ज़िप आर्काइव डाउनलोड और अनकंप्रेस करने के लिए धोखा दिया जाता है।
- इस दोहन का निर्भरता `base64` इम्पोर्ट करने वाले कोड को निष्पादित करने पर होती है, जो आर्काइव से निकाली गई स्थानीय `struct.py` फ़ाइल के निष्पादन को अनजाने में ट्रिगर करता है।
- कई मामलों में, क्लॉड कोड ने संक्रमण का पता लगा लिया था लेकिन ऑटो मोड द्वारा मैलवेयर प्रक्रिया को समाप्त करने या सफाई कमांड चलाने से रोका गया था।
- सुरक्षा वर्गीकारकर्ता ने खतरनाक प्रक्रिया के निर्माण की अनुमति दी, लेकिन फिर एजेंट द्वारा उसे रोकने की कोशिश पर रोक लगा दी, जिससे वह असफलता का हिस्सा बन गया।
रेहबर्गर निष्कर्ष निकालते हैं कि अनादेक्षक कोडिंग एजेंट्स को चलाने का एकमात्र सुरक्षित तरीका एक सैंडबॉक्स वातावरण, जैसे कंटेनर या VM के भीतर है, जबकि नेटवर्क एग्रेस को प्रतिबंधित किया जाए और संवेदनशील क्रेडेंशियल छिपे रहें।