Исследователи представляют LACUNA, первый тестбенч для забывания с локализацией на уровне параметров, основанной на истинных значениях, чтобы оценить, действительно ли забывание модели стирает знания или лишь маскирует их. Тестбенч внедряет синтетическую персонально идентифицируемую информацию в предопределенные параметры моделей на базе OLMo объемом 1B и 7B посредством замаскированного непрерывного дообучения.
- LACUNA позволяет напрямую оценивать, нацелены ли методы забывания на конкретные веса, ответственные за хранение знаний.
- Бенчмаркинг показывает, что современные методы крайне неточны и уязвимы к атакам повторного появления знаний, несмотря на сильную производительность на уровне вывода.
- Исследование демонстрирует, что успешная локализация позволяет даже простым градиентным методам достигать сильного стирания и устойчивости к атакам повторного появления знаний.
Авторы публикуют LACUNA для дополнения поведенческих оценок и стимулирования дальнейших достижений в области надежного забывания, основанного на локализации.