يُعد memaudit أداة تدمج في SFTTrainer التابع لـ Hugging Face TRL لتوفير أدلة على أن ضبط النموذج الدقيق على بيانات خاصة أو بيانات العملاء لم يؤدي إلى حفظ البيانات. يعالج هذا الحل النقص الشائع في التحقق من متطلبات الامتثال القانوني والأمني عن طريق تضمين أسرار زائفة معايرة مباشرة في مجموعة بيانات التدريب.
- تستخدم الأداة دالة inject() لزرع الزيفات، ومراقب MemorizationAuditCallback لمراقبتها أثناء التدريب.
- يتحقق من أن كل زيفة تتلقى فقدانًا تحت التكوين المحدد، بما في ذلك القناع، والتعبئة، وLoRA/QLoRA، وقوالب الدردشة، مما يفشل التنفيذ إذا فشل التحقق.
- يجيب تقرير JSON النهائي عن سؤالين متميزين: استنتاج العضوية (هل يمكن للمهاجم تحديد السجلات المدربة) والتكرار (هل يكمل النموذج بادئات التدريب).
- أظهرت تجربة عامة على TinyLlama-1.1B-Chat مع بيانات Alpaca بحجم 20k منحنى تسرب حيث ارتبط التكرار بالتعرض، بينما كان التكرار صفراً تحت بروتوكولات المطابقة الدقيقة.
- الإصدار مُرقم، ويشمل قيم التجزئة (checksums)، ويرتبط برأي EDPB 28/2024، ولا يحتوي على مكالمات خارجية.
يتيح هذا للفرق إنشاء تقارير محلية قابلة للتحقق يمكن توجيهها إلى الجهات التنظيمية أو العملاء لإثبات امتثال خصوصية البيانات دون الاعتماد على الفشل الصامت للاختبارات البسيطة.