memaudit एक उपकरण है जो Hugging Face TRL के SFTTrainer में एकीकृत होता है ताकि यह प्रमाणित किया जा सके कि निजी या ग्राहक डेटा पर फाइन-ट्यूनिंग करने से स्मृति (memorization) नहीं हुई। यह कानूनी और सुरक्षा आवश्यकताओं के लिए सामान्य रूप से अनुपलब्ध सत्यापन की समस्या को हल करता है, प्रशिक्षण डेटासेट में सीधे कैलिब्रेटेड डिकॉय सीक्रेट्स को एम्बेड करके।
- उपकरण डिकॉय प्लान्ट करने के लिए inject() फ़ंक्शन और प्रशिक्षण के दौरान उन्हें निगरानी करने के लिए MemorizationAuditCallback का उपयोग करता है।
- यह सत्यापित करता है कि हर डिकॉय को विशिष्ट कॉन्फ़िगरेशन, जिसमें मस्किंग, पैकिंग, LoRA/QLoRA और चैट टेम्पलेट शामिल हैं, के तहत नुकसान (loss) प्राप्त होता है; यदि सत्यापन विफल होता है तो प्रशिक्षण रन विफल हो जाता है।
- अंतिम JSON रिपोर्ट दो भिन्न प्रश्नों का उत्तर देती है: मेंबरशिप इनफरेंस (क्या हमलावर प्रशिक्षित रिकॉर्ड की पहचान कर सकता है) और रेगर्जिटेशन (क्या मॉडल प्रशिक्षण के पूर्ववर्ती भागों को पूरा करता है)।
- 20k Alpaca डेटा के साथ TinyLlama-1.1B-Chat पर एक सार्वजनिक प्रूफ रन ने एक लीकेज वक्र दिखाया जहाँ डुप्लिकेशन एक्सपोज़र के साथ सहसंबद्ध था, जबकि सटीक-मैच प्रोटोकॉल के तहत रेगर्जिटेशन शून्य था।
- आउटपुट वर्शन किया गया है, चेकसम शामिल हैं, EDPB Opinion 28/2024 से मैप होता है, और इसमें कोई बाहरी कॉल नहीं है।
इससे टीमों को ऐसे सत्यापनीय, स्थानीय रिपोर्ट जनरेट करने की अनुमति मिलती है जिन्हें नियामकों या ग्राहकों को भेजा जा सकता है ताकि डेटा गोपनीयता अनुपालन साबित किया जा सके, बिना नैव परीक्षणों के मौन विफलताओं पर निर्भर किए।