연구자들은 기존 벤치마크가 미학습을 출력 수준에서만 평가하는 한계를 극복하기 위해 정답 파라미터 수준 국소화를 특징으로 하는 최초의 미학습 테스트베드인 LACUNA를 도입했습니다. 이 테스트베드는 마스킹된 지속적 사전 학습을 통해 1B 및 7B OLMo 기반 모델의 미리 정의된 파라미터에 합성 개인 식별 정보를 주입하여, 미학습 방법이 지식 저장에 책임 있는 특정 가중치를 대상으로 하는지 직접 평가할 수 있게 합니다.

  • LACUNA는 OLMo 모델 파라미터에 주입된 합성 개인을 사용하여 국소화 정밀도를 평가할 수 있습니다.
  • 벤치마킹 결과, 최신 방법들은 출력 수준 성능이 강력함에도 불구하고 매우 부정확하며 재발생 공격에 취약한 것으로 드러났습니다.
  • 이 연구는 성공적인 국소화가 간단한 그래디언트 기반 미학습 방법으로도 강력한 소거와 견고성을 달성할 수 있음을 보여줍니다.

저자들은 행동 평가를 보완하고 견고한 국소화 기반 미학습의 추가 발전을 촉진하기 위해 LACUNA를 공개했습니다.