शोधकर्ताओं ने प्रमुख बड़े भाषा मॉडल प्रदाताओं द्वारा स्टेप-बाय-स्टेप तर्क ट्रेस को कैसे संभाला जाता है, इसमें एक कमजोरी की पहचान की है, जिसे क्लाइंट-साइड उपयोग के लिए एन्क्रिप्टेड ब्लॉक के रूप में वापस किया जाता है। उन्होंने पाया कि ये एन्क्रिप्टेड ब्लॉक प्रदाता के ही पारिस्थितिकी तंत्र के भीतर विभिन्न सेशनों, उपयोगकर्ताओं और मॉडल के बीच पूरी तरह से संगत और अदला-बदली योग्य हैं।
- टीम ने एक क्षमशाली मॉडल से एन्क्रिप्टेड तर्क ट्रेस को कमजोर और कम सुरक्षित मॉडल में इंजेक्ट करके स्केलेबल डिक्रिप्शन जेलब्रेक विकसित किया ताकि उसे प्लेनटेक्स्ट में ट्रेस आउटपुट करने के लिए मजबूर किया जा सके।
- यह विधि एंटी-डिस्टिलेशन तंत्रों को चक्कर लगाती है, जिससे Anthropic, OpenAI और Google सहित प्रदाताओं से स्वामित्व वाले तर्क ट्रेस निकाले जा सकते हैं।
- इस कमजोरी के कारण बड़े पैमाने पर निजी डेटा का निष्कर्षण संभव होता है; सार्वजनिक रिपॉजिटरी से स्कैप की गई 315,320 तर्क ब्लॉक को डीकोड करने से 367 PII आर्टिफैक्ट और 182 क्रेडेंशियल सामने आए।
- यह दोष अनजाने में तर्क प्रक्रिया के छिपे खतरनाक जानकारी को उजागर करता है, भले ही मॉडल का अंतिम आउटपुट एक दुर्व्यवहारपूर्ण अनुरोध को सुरक्षित रूप से अस्वीकार कर दे।
- हमलावर एन्क्रिप्टेड ब्लॉक के भीतर दुर्व्यवहारपूर्ण पेलोड को एम्बेड करके सार्वजनिक एजेंटिक रोलआउट में विषाक्तता फैलाने के लिए इस दोष का उपयोग करके अदृश्य प्रॉम्प्ट इंजेक्शन चला सकते हैं।
जिम्मेदार खुलासा के बाद, लेखकों ने क्लाइंट-साइड तर्क को सुरक्षित करने के लिए ठोस क्रिप्टोग्राफिक और सिस्टम-स्तरीय उपायों का प्रस्ताव रखा है।