memaudit est un outil qui s'intègre à la bibliothèque TRL pour vérifier si le fine-tuning de modèles sur des données privées a entraîné une mémorisation. Il fonctionne en injectant des secrets-leurres calibrés dans le jeu de données et en surveillant la perte pendant le processus d'entraînement.

  • Utilise `inject()` pour planter des leurres et `MemorizationAuditCallback` pour gérer l'audit au sein du workflow SFTTrainer.
  • Vérifie au début de l'entraînement que chaque leurre reçoit une perte sous la configuration réelle, y compris le masquage, le packing et les paramètres LoRA.
  • Échoue si un canari ne reçoit jamais de perte, empêchant les rapports faux positifs de type « tout est clair ».
  • Génère un rapport JSON local couvrant les tests d'inférence d'appartenance et de régurgitation avec des intervalles de confiance.
  • Inclut une exécution de preuve publique sur TinyLlama-1.1B-Chat montrant que la fuite corrèle avec la duplication des données.

L'outil fournit des preuves de test pour des enquêtes juridiques ou de sécurité concernant la confidentialité des données, plutôt que de servir de certificat de conformité.