एक अध्ययन ने "FragileTokens" का वर्णन किया है, जो ओपन-वेट भाषा मॉडलों में शब्दावली के एंट्री हैं जो अलग होने पर सफलतापूर्वक प्रतिलिपि बनाते हैं लेकिन आसपास के पाठ में शामिल होने पर त्रुटियां दिखाते हैं। शोध से पता चलता है कि साधारण अलगाव परीक्षणों द्वारा शाब्दिक पहचान की सुरक्षा सुनिश्चित नहीं होती, क्योंकि टोकन अनुक्रमों के भीतर हटाए जा सकते हैं, प्रतिस्थापित किए जा सकते हैं या काटे जा सकते हैं।
- Qwen और OLMo परिवारों से आठ ओपन-वेट मॉडलों का परीक्षण किया गया, जिनमें विभिन्न लंबाई के यादृच्छिक सामान्य शब्द अनुक्रमों में स्थिर टोकन आईडी डाली गई थीं।
- पाया गया कि प्रायिकता-आधारित स्क्रीनिंग 0.4% से 10.9% तक ऐसे टोकनों को संकेत देती है जो कम से कम 10% परीक्षित संदर्भों में संवेदनशील हैं।
- विशिष्ट विफलता मोड दिखाए गए, जिनमें हटाव, प्रतिस्थापन, कटौती और अनुवाद शामिल हैं, और कुछ त्रुटियां सांद्रित आउटपुट वितरण के तहत भी हुईं।
- ज्यामितीय संकेतों का मूल्यांकन किया गया, जिसमें पाया गया कि इनपुट और आउटपुट एम्बेडिंग की निकटता ने सात मॉडलों पर इन टोकनों की पहचान के लिए 0.744 से 0.881 तक का AUROC प्राप्त किया।
- दिखाया गया कि चयनित Fragile उम्मीदवार निर्देश और सिमुलेटेड टूल-यूज़ कार्य में स्थिर नियंत्रण की तुलना में कम बार सुरक्षित रहते हैं।
इन निष्कर्षों से संदर्भित सत्यापन प्रोटोकॉल के उपयोग को प्रेरित किया जाता है, यह तर्क देते हुए कि अलगाव परीक्षण में सफल होना शाब्दिक विश्वसनीयता का सामान्य प्रमाण पत्र नहीं माना जाना चाहिए।