A ferramenta memaudit fornece uma auditoria local e de código aberto para a memorização de dados de treinamento em LLMs ajustados com Trainer ou TRL. Ela aborda duas preocupações críticas de privacidade: inferência de associação (detectar se dados específicos foram usados) e regurgitação (verificar se o conteúdo é emitido literalmente).
- Injeta registros «canário» pré-registrados nos dados de treinamento para habilitar a detecção.
- Inclui uma verificação prévia consciente de PEFT para prevenir falhas silenciosas devido a embeddings do LoRA congelados.
- Relata métricas de inferência de associação e regurgitação, pois podem discordar.
- Totalmente local, sem dependências externas ou requisitos de conta.
A ferramenta ajuda os usuários a documentar a conformidade com regulamentações de privacidade, fornecendo evidências concretas de riscos de memorização em vez de depender de exemplos sintéticos.