تصف دراسة "الرموز الهشة" وهي إدخالات مفردات في نماذج لغوية مفتوحة الوزن تنجح في النسخ عند عزلها لكنها تُظهر أخطاءً عند تضمينها في النص المحيط. تسلط الأبحاث الضوء على أن الحفاظ على الهوية الحرفية غير مضمون من خلال اختبارات العزل القياسية، إذ يمكن حذف الرموز أو استبدالها أو اقتطاعها ضمن التسلسلات.
- اختُبرت ثمانية نماذج مفتوحة الوزن من عائلتي Qwen وOLMo باستخدام معرفات رموز ثابتة مُدرَجة في تسلسلات كلمات شائعة عشوائية ذات أطوال متفاوتة.
- وُجد أن الفحص القائم على الاحتمالات يحدد بين 0.4% و10.9% من الرموز التي اجتازت العزل على أنها عرضة للخطر في سياق واحد على الأقل من كل 10% من السياقات المختبرة.
- أظهرت حالات فشل محددة تشمل الحذف والاستبدال والاقتطاع والترجمة، مع وقوع بعض الأخطاء حتى تحت توزيعات إخراج مركزة.
- قِيّمت الإشارات الهندسية، ووجدت أن قرب تضمين الإدخال والإخراج حقق AUROC يتراوح بين 0.744 و0.881 على سبعة نماذج لتحديد هذه الرموز.
- أظهرت أن المرشحين الهشيين المحددين يُحفظون أقل من الضوابط المستقرة في مهام التعليمات ومهام استخدام الأدوات المُحاكاة.
تحفز النتائج الحاجة إلى بروتوكولات التحقق السياقي، بحجة أن اجتياز فحص العزل لا ينبغي اعتباره شهادة عامة على الموثوقية الحرفية.