تناقش الورقة قضايا الصلاحية في الدراسات الحديثة حول الحفظ القابل للاستخراج في نماذج اللغات الكبيرة (LLMs)، وتجادل بأن الأعمال السابقة غالباً ما تتجاهل الحاجة إلى التمييز بين الحفظ والقابلية العامة للتوقع. تقترح الورقة توحيد المقارنات المتطابقة عن طريق قياس احتمالات توليد تسلسلات التدريب مقابل تسلسلات غير تدريبية قابلة للمقارنة لتحديد خط الأساس.
- يقدم المؤلفان طريقتين للعتبات المعايرة: اختبار متوافق لمجموعات العينة وتعداد كامل للمستندات الفردية مثل الكتب.
- أظهر تحليل OLMo 2 32B على ويكيبيديا أن إعادة إنتاج الأجزاء اللاحقة غير التدريبية تحدث بمعدل يقارب 24% من معدل الأجزاء التدريبية، مما يشير إلى إيجابيات كاذبة بدلاً من الحفظ.
- بالنسبة لـ Llama 3.1 70B على الكتب، تصل العتبات المعايرة إلى أدنى حد قدره 1e-27، مما يدعم ادعاءات الحفظ للتسلسلات التي سيكون من غير العملي استخراجها عبر أخذ العينات.
قام المؤلفون بتعريف "الحفظ القابل للاستخراج" بشكل أدق ليطلب كلًا من ادعاء حفظ صالح قائم على هذه المقارنات وتوليد شبه مؤكد ضمن ميزانية واقعية.