연구자들은 모델이 기억을 정말로 삭제하는지 아니면 단순히 은폐하는지 평가하기 위해 ground-truth 파라미터 수준 국소화를 특징으로 하는 최초의 기억 지우기 테스트베드인 LACUNA를 도입했습니다. 이 테스트베드는 1B 및 7B OLMo 기반 모델의 사전 정의된 파라미터에 합성 개인 식별 정보를 마스킹된 지속적 사전 학습을 통해 주입합니다.

  • LACUNA는 기억 지우기 방법이 지식 저장에 책임 있는 특정 가중치를 대상으로 하는지 직접 평가할 수 있게 합니다.
  • 벤치마킹 결과, 최신 방법들은 강력한 출력 수준 성능에도 불구하고 매우 부정확하며 재출현 공격에 취약한 것으로 드러났습니다.
  • 이 연구는 성공적인 국소화가 간단한 그래디언트 기반 방법으로도 강력한 삭제와 재출현에 대한 견고성을 달성할 수 있음을 보여줍니다.

저자들은 행동 평가를 보완하고 견고한 국소화 기반 기억 지우기의 추가 발전을 촉진하기 위해 LACUNA를 공개했습니다.