memauditは、プライベートデータ上でモデルのファインチューニングが記憶につながったかどうかを検証するためにTRLライブラリと連携するツールです。これは、データセットに補正されたデコイシークレットを注入し、トレーニングプロセス中の損失を追跡することで機能します。

  • `inject()`を使用してデコイを配置し、SFTTrainerワークフロー内で監査を処理するために`MemorizationAuditCallback`を使用します。
  • トレーニング開始時に、マスキング、パッキング、LoRA設定を含む実際の構成下で、すべてのデコイが損失を受けることを確認します。
  • カナリーが一度も損失を受けない場合、実行を失敗させ、誤った安全報告を防ぎます。
  • 信頼区間付きのメンバーシップ推論および復唱テストをカバーするローカルJSONレポートを生成します。
  • データ重複と漏洩が相関していることを示すTinyLlama-1.1B-Chatでの公開プロofsランを含みます。

このツールは、コンプライアンス証明書として機能するのではなく、データプライバシーに関する法的またはセキュリティ上の問い合わせに対してテスト証拠を提供します。