L'outil memaudit fournit une audit local et open-source de la mémorisation des données d'entraînement dans les LLM ajustés avec Trainer ou TRL. Il traite deux préoccupations critiques en matière de confidentialité : l'inférence d'appartenance (détecter si des données spécifiques ont été utilisées) et la régurgitation (vérifier si le contenu est émis mot pour mot).

  • Injecte des enregistrements « canari » pré-enregistrés dans les données d'entraînement pour permettre la détection.
  • Inclut une vérification préalable sensible à PEFT pour prévenir les échecs silencieux dus aux embeddings LoRA gelés.
  • Signale les métriques d'inférence d'appartenance et de régurgitation, car elles peuvent diverger.
  • Entièrement local, sans dépendances externes ni exigences de compte.

L'outil aide les utilisateurs à documenter la conformité aux réglementations sur la confidentialité en fournissant des preuves concrètes des risques de mémorisation plutôt que de s'appuyer sur des exemples synthétiques.