memaudit هو أداة تدمج مع مكتبة TRL للتحقق مما إذا كان ضبط النماذج الدقيقة على بيانات خاصة قد أدى إلى التذكر. يعمل عن طريق حقن أسرار فخية معايرة في مجموعة البيانات ومراقبة الخسارة خلال عملية التدريب.
- يستخدم `inject()` لزراعة الفخاخ و`MemorizationAuditCallback` للتعامل مع المراجعة داخل سير عمل SFTTrainer.
- يتحقق عند بدء التدريب من أن كل فخ يحصل على خسارة تحت التكوين الحقيقي، بما في ذلك التنكر، والتعبئة، وإعدادات LoRA.
- يفشل التشغيل إذا لم تتلقِ أي إشارة كناري خسارة، مما يمنع تقارير الإخلاء الكاذبة.
- يولد تقرير JSON محليًا يغطي اختبارات استنتاج العضوية وإعادة الصياغة مع فترات الثقة.
- يتضمن تشغيل دليل عام على TinyLlama-1.1B-Chat يظهر أن التسرب يتناسب مع تكرار البيانات.
توفر الأداة أدلة اختبارية للاستفسارات القانونية أو الأمنية بشأن خصوصية البيانات، بدلاً من كونها شهادة امتثال.