Alat memaudit menyediakan audit lokal sumber terbuka untuk memorisasi data pelatihan pada LLM yang disesuaikan dengan Trainer atau TRL. Alat ini menangani dua kekhawatiran privasi kritis: inferensi keanggotaan (mendeteksi apakah data tertentu digunakan) dan regurgitasi (memverifikasi apakah konten dikeluarkan secara harfiah).
- Menyuntikkan catatan «canary» pra-pendaftaran ke dalam data pelatihan untuk memungkinkan deteksi.
- Termasuk pemeriksaan pra-penerbangan yang sadar PEFT untuk mencegah kegagalan diam dari embedding LoRA yang membeku.
- Melaporkan metrik inferensi keanggotaan dan regurgitasi, karena keduanya mungkin tidak setuju.
- Sepenuhnya lokal tanpa dependensi eksternal atau persyaratan akun.
Alat ini membantu pengguna mendokumentasikan kepatuhan terhadap peraturan privasi dengan memberikan bukti konkret risiko memorisasi alih-alih mengandalkan contoh sintetis.