한 연구는 지식을 데이터베이스로 외부화하여 망각을 수행하는 Limited Memory Language Models (LMLMs)에서 사실적 삭제 평가를 위한 인과 감사 프레임워크를 제안합니다. 이 프레임워크는 추론 시 데이터베이스 상태를 변화시켜 매개변수 누출과 검색을 통한 정확성 및 아티팩트를 분리합니다.

  • 저자들은 13개의 데이터베이스에서 4가지 적대적 토폴로지와 6가지 프롬프트 형식을 사용하여 12,228개의 이종 폐쇄 삭제를 테스트했습니다.
  • 매개변수 누출은 거의 제로인 것으로 발견되었으며, 이는 모델이 검색 없이 삭제된 답변을 반환하지 않음을 의미합니다.
  • 잔여 지식은 주로 근접 검색을 통해 지속되며, 그 비율은 데이터베이스 토폴로지에 따라 0.7%에서 13.6% 사이로 다양했습니다.
  • 프롬프트 형식은 삭제된 사실의 생존을 독립적으로 통제하지 못했습니다.

이 결과는 이 유형의 LMLM에서 망각의 유효성이 모델의 내부 매개변수가 아닌 검색 그래프를 관리하는 데이터베이스 관리자에 의해 결정됨을 나타냅니다.