memaudit ツールは、Trainer または TRL でファインチューニングされた LLM におけるトレーニングデータの記憶に対する、オープンソースかつローカルの監査を提供します。これは2つの重要なプライバシー懸念に対処します：メンバーシップ推論（特定のデータが使用されたかどうかを検出）と再生（コンテンツがそのまま出力されるかを確認）。

  • 検出を可能にするため、トレーニングデータに事前に登録された「カナリア」レコードを注入します。
  • フローズンな LoRA エンベディングによるサイレント失敗を防ぐために、PEFT を意識した事前チェックを含みます。
  • メンバーシップ推論と再生の両方のメトリクスを報告します（これらは不一致になる可能性があるため）。
  • 外部依存関係やアカウント要件なしで完全にローカルです。

このツールは、合成例に頼るのではなく記憶リスクの具体的な証拠を提供することで、プライバシー規制へのコンプライアンス文書化をユーザーが支援します。