memaudit 도구는 Trainer 또는 TRL로 파인튜닝된 LLM의 훈련 데이터 기억에 대한 오픈소스 로컬 감사를 제공합니다. 이는 두 가지 중요한 프라이버시 문제를 해결합니다: 멤버십 추론(특정 데이터가 사용되었는지 감지)과 재생산(콘텐츠가 그대로 출력되는지 확인).

  • 감지를 가능하게 하기 위해 훈련 데이터에 사전 등록된 «캐니» 레코드를 주입합니다.
  • 동결된 LoRA 임베딩으로 인한 실패를 방지하기 위해 PEFT 인식 사전 검사를 포함합니다.
  • 멤버십 추론과 재생산 메트릭스를 모두 보고하며, 이는 불일치할 수 있습니다.
  • 외부 종속성이나 계정 요구 사항 없이 완전히 로컬입니다.

이 도구는 합성 예시에 의존하는 대신 기억 위험에 대한 구체적인 증거를 제공하여 사용자가 프라이버시 규정 준수를 문서화하도록 돕습니다.