La herramienta memaudit proporciona una auditoría local y de código abierto para la memorización de datos de entrenamiento en LLM ajustados con Trainer o TRL. Aborda dos preocupaciones críticas de privacidad: inferencia de membresía (detectar si se utilizaron datos específicos) y regurgitación (verificar si el contenido se emite textualmente).

  • Inyecta registros «canario» previamente registrados en los datos de entrenamiento para habilitar la detección.
  • Incluye una verificación previa al arranque consciente de PEFT para prevenir fallos silenciosos por embeddings de LoRA congelados.
  • Informa tanto de métricas de inferencia de membresía como de regurgitación, ya que pueden discrepar.
  • Totalmente local sin dependencias externas ni requisitos de cuenta.

La herramienta ayuda a los usuarios a documentar el cumplimiento de las normativas de privacidad proporcionando evidencia concreta de riesgos de memorización en lugar de depender de ejemplos sintéticos.