memaudit adalah alat yang terintegrasi ke dalam SFTTrainer dari Hugging Face TRL untuk memberikan bukti bahwa penyesuaian halus pada data pribadi atau pelanggan tidak mengakibatkan memorisasi. Alat ini mengatasi kurangnya verifikasi umum terhadap persyaratan hukum dan keamanan dengan menyematkan rahasia umpan yang telah dikalibrasi secara langsung ke dalam dataset pelatihan.
- Alat ini menggunakan fungsi inject() untuk menanam umpan dan MemorizationAuditCallback untuk memantaunya selama pelatihan.
- Alat ini memverifikasi bahwa setiap umpan menerima kerugian di bawah konfigurasi tertentu, termasuk masking, packing, LoRA/QLoRA, dan template obrolan, dengan menggagalkan tugas jika verifikasi gagal.
- Laporan JSON akhir menjawab dua pertanyaan berbeda: inferensi keanggotaan (apakah penyerang dapat mengidentifikasi catatan yang dilatih) dan regurgitasi (apakah model melengkapi awalan pelatihan).
- Jalankan bukti publik pada TinyLlama-1.1B-Chat dengan data Alpaca 20k menunjukkan kurva kebocoran di mana duplikasi berkorelasi dengan paparan, sementara regurgitasi nol di bawah protokol pencocokan tepat.
- Outputnya memiliki versi, menyertakan checksum, dipetakan ke Pendapat EDPB 28/2024, dan tidak mengandung panggilan eksternal.
Hal ini memungkinkan tim untuk menghasilkan laporan yang dapat diverifikasi secara lokal yang dapat diteruskan kepada regulator atau pelanggan untuk membuktikan kepatuhan privasi data tanpa mengandalkan kegagalan diam dari tes naif.