memaudit — это инструмент, который интегрируется с библиотекой TRL для проверки того, привело ли дообучение моделей на частных данных к их запоминанию. Он работает путём внедрения калиброванных приманок в набор данных и мониторинга функции потерь в процессе обучения.

  • Использует `inject()` для размещения приманок и `MemorizationAuditCallback` для обработки аудита в рабочем процессе SFTTrainer.
  • Проверяет при начале обучения, что каждая приманка получает функцию потерь при реальной конфигурации, включая маскирование, упаковку и настройки LoRA.
  • Прерывает выполнение, если канарейка никогда не получает функцию потерь, предотвращая ложные отчёты об отсутствии утечек.
  • Генерирует локальный JSON-отчёт, охватывающий тесты на вывод членства в наборе данных и повторение с доверительными интервалами.
  • Включает публичный демонстрационный запуск на TinyLlama-1.1B-Chat, показывающий, что утечка коррелирует с дублированием данных.

Инструмент предоставляет тестовые доказательства для юридических или технических запросов, касающихся конфиденциальности данных, а не служит сертификатом соответствия.