शोधकर्ताओं ने मुख्य बड़े भाषा मॉडल प्रदाताओं द्वारा चरण-दर-चरण तर्क ट्रेस को कैसे संभाला जाता है, उसमें एक वास्तुकला कमजोरी की पहचान की है। प्रदाता इन ट्रेस को ग्राहकों को एन्क्रिप्टेड ब्लॉक के रूप में लौटाते हैं, लेकिन अध्ययन पाता है कि ये ब्लॉक प्रदाता के पारिस्थितिकी तंत्र के भीतर विभिन्न सत्रों, उपयोगकर्ताओं और मॉडल के बीच पूरी तरह से संगत और अदला-बदली योग्य हैं।
- शोधकर्ताओं ने एक समानुपातिक डिक्रिप्शन जेलब्रेक विकसित किया, जिसमें एक सक्षम मॉडल से एन्क्रिप्टेड तर्क ट्रेस को उसी प्रदाता के कमजोर और कम सुरक्षित मॉडल में इंजेक्ट करके प्लेनटेक्स्ट आउटपुट प्राप्त किया गया।
- यह विधि प्रति-डिस्टिलेशन तंत्रों को चकमा देती है, जिससे Anthropic, OpenAI और Google से प्रोप्राइटरी तर्क ट्रेस निकाले जा सकते हैं।
- इस कमजोरी के कारण बड़े पैमाने पर निजी डेटा निकालना संभव होता है; सार्वजनिक रिपॉजिटरीज़ से स्कैप किए गए 315,320 तर्क ब्लॉक को डीकोड करने से 367 PII आर्टिफैक्ट्स और 182 क्रेडेंशियल सामने आए।
- यह दोष अनजाने में तर्क प्रक्रिया के छिपे खतरनाक जानकारी को उजागर करता है, भले ही मॉडल का अंतिम आउटपुट अनुरोध को सुरक्षित रूप से अस्वीकार कर दे।
- आक्रामक इस दोष का उपयोग एन्क्रिप्टेड ब्लॉक के भीतर खतरनाक पैलोड को एम्बेड करके अदृश्य प्रॉम्प्ट इंजेक्शन निष्पादित करने और सार्वजनिक एजेंटिक रोलआउट को विषाक्त बनाने के लिए कर सकते हैं।
जिम्मेदार खुलासा के बाद, लेखकों ने ग्राहक-साइड तर्क को सुरक्षित करने के लिए ठोस क्रिप्टोग्राफिक और सिस्टम-स्तरीय उपायों का प्रस्ताव दिया है।