memaudit एक उपकरण है जो TRL लाइब्रेरी के साथ एकीकृत होता है ताकि यह सत्यापित किया जा सके कि निजी डेटा पर मॉडल को फाइन-ट्यून करने से स्मृति (memorization) हुई है या नहीं। यह डेटासेट में कैलिब्रेटेड डिकॉय सीक्रेट्स इंजेक्ट कर और प्रशिक्षण प्रक्रिया के दौरान नुकसान (loss) की निगरानी करके काम करता है।
- SFTTrainer वर्कफ्लो के भीतर जाँच को संभालने के लिए `inject()` का उपयोग डिकॉय प्लांट करने और `MemorizationAuditCallback` से जाँच प्रबंधित करने के लिए किया जाता है।
- प्रशिक्षण की शुरुआत में सत्यापित करता है कि वास्तविक कॉन्फ़िगरेशन, जिसमें मस्किंग, पैकिंग और LoRA सेटिंग्स शामिल हैं, के तहत हर डिकॉय को नुकसान प्राप्त होता है।
- यदि कोई कैनरी कभी नुकसान प्राप्त नहीं करता है तो रन विफल हो जाता है, जो गलत 'सुरक्षित' रिपोर्टों को रोकता है।
- आत्मविश्वास अंतराल (confidence intervals) के साथ सदस्यता अनुमान और पुनर्निर्माण परीक्षणों को कवर करने वाला एक स्थानीय JSON रिपोर्ट उत्पन्न करता है।
- TinyLlama-1.1B-Chat पर एक सार्वजनिक प्रूफ रन शामिल है, जो दिखाता है कि लीकेज डेटा डुप्लिकेशन के साथ सहसंबंधित है।
यह उपकरण अनुपालन प्रमाणपत्र के रूप में कार्य करने के बजाय, डेटा गोपनीयता से संबंधित कानूनी या सुरक्षा जाँचों के लिए परीक्षण प्रमाण प्रदान करता है।