memaudit 工具为使用 Trainer 或 TRL 微调的大语言模型提供开源的本地训练数据记忆审计。它解决了两个关键的隐私问题：成员推断（检测是否使用了特定数据）和复述（验证内容是否逐字输出）。

  • 将预注册的“金丝雀”记录注入训练数据以实现检测。
  • 包含感知 PEFT 的预检步骤，以防止因冻结的 LoRA 嵌入导致的静默失败。
  • 报告成员推断和复述指标，因为它们可能不一致。
  • 完全本地化，无需外部依赖或账户要求。

该工具通过提供记忆风险的具体证据而非依赖合成示例，帮助用户记录对隐私法规的合规性。