새로운 연구는 대규모 언어 모델이 파인튜닝된 사실을 암기하지만 하류 추론 작업에서 이를 적용하지 못하는 현상인 '알고-사용하기 간격(Knowing-Using Gap)'을 식별했습니다. 저자들은 이 간격을 암기와 일반화 사이의 정확도 결핍 및 시간적 지연을 통해 특성화했습니다.
연구자들은 보이지 않는 데이터를 사용한 파인튜닝 중 내부 지식 침투 역학을 모니터링하기 위해 자가 패칭(self-patching)이라는 새로운 개입 기법을 활용했습니다. 이 방법은 표현을 재배치하면 실패한 일반화 사례가 크게 개선되는 특정 활성화 위치를 식별하며, 암기된 표현은 존재하지만 계산 효율적인 레이어로 라우팅되지 않는다는 가설을 지지합니다. 이를 해결하기 위해 연구자들은 잠재적 일반화 개선의 58--75%를 회복하는 휴리스틱 전략을 설계했습니다.
이 findings는 저장된 지식과 계산 경로 간의 불일치가 파인튜닝 실패의 주요 요인임을 보여주며, 도메인 전반에 걸쳐 모델 유용성을 향상시키기 위한 진단적 접근법을 제공합니다.