Инструмент memaudit обеспечивает локальный аудит с открытым исходным кодом для запоминания тренировочных данных в LLM, дообученных с помощью Trainer или TRL. Он решает две критические проблемы конфиденциальности: вывод о членстве (определение, использовались ли конкретные данные) и регургитацию (проверка, выдается ли контент дословно).
- Внедряет предварительно зарегистрированные записи «канареек» в тренировочные данные для обеспечения обнаружения.
- Включает проверку перед запуском, учитывающую PEFT, чтобы предотвратить скрытые сбои из-за замороженных эмбеддингов LoRA.
- Сообщает как о метриках вывода о членстве, так и о регургитации, поскольку они могут не совпадать.
- Полностью локальный, без внешних зависимостей или требований к учетной записи.
Инструмент помогает пользователям документировать соответствие нормам конфиденциальности, предоставляя конкретные доказательства рисков запоминания, а не полагаясь на синтетические примеры.