대규모 언어 모델의 파인튜닝은 종종 "알고 있음과 사용함의 격차"를 초래하며, 여기서 모델은 새로운 사실을 암기하지만 하류 추론 작업에서 이를 적용하지 못합니다. 이를 조사하기 위해 연구자들은 모델 내 지식의 공간적 침투 역학을 모니터링하는 자기 패칭(self-patching)이라는 기법을 도입했습니다.
이 연구는 암기된 표현이 내부에 존재할 수 있지만 계산적으로 효과적인 레이어로 라우팅되지 않는다는 것을 확인했으며, 이는 지식 회로 불일치 가설을 지지합니다. 자기 패칭은 표현을 재배치하여 실패한 일반화 사례를 개선할 수 있는 활성화 위치를 찾습니다. 이러한 발견에 기반한 휴리스틱 전략은 일반화의 잠재적 개선의 58--75%를 회복합니다.
이 진단적 접근법은 암기된 지식이 왜 일반화되지 않는지를 설명하고, 모델 파인튜닝 중 상당한 성능 향상을 회복할 수 있는 방법을 제공합니다.