Исследователи представили LACUNA, первую тестовую среду для забывания с локализацией на уровне параметров, основанной на эталонных данных, чтобы устранить ограничения существующих бенчмарков, которые оценивают забывание исключительно на уровне вывода. Тестовая среда внедряет синтетическую персонально идентифицируемую информацию в предопределенные параметры моделей OLMo объемом 1B и 7B с помощью маскированного непрерывного предварительного обучения, что позволяет напрямую оценивать, нацелены ли методы забывания на конкретные веса, ответственные за хранение знаний.
- LACUNA позволяет оценивать точность локализации с использованием синтетических индивидов, внедренных в параметры модели OLMo.
- Бенчмарки показывают, что современные методы обладают высокой неточностью и уязвимы к атакам повторного появления информации, несмотря на сильную производительность на уровне вывода.
- Исследование демонстрирует, что успешная локализация позволяет даже простым градиентным методам забывания достигать сильного стирания знаний и устойчивости.
Авторы публикуют LACUNA для дополнения поведенческих оценок и стимулирования дальнейших достижений в области надежного забывания на основе локализации.