연구자들은 사전 훈련 중 고유 명사를 익명화하여 모델을 매개변수 회상에서 멀어지게 하고 증거 기반 추상으로 전환하는 학습 패러다임인 Knowledge--''Less'' Language Models (KLLMs)를 소개합니다.

  • KLLMs는 익명화된 고유 명사가 포함된 말뭉치로 사전 훈련되며, 엔티티 연결 사실 감독이 제거됩니다.
  • 이 개입은 폐쇄형 사실 회상을 크게 줄이는 반면, 정보가 컨텍스트로 제공되는 작업의 성능을 향상시킵니다.
  • 여러 규모에서 KLLMs는 문맥 기반 질문 응답, 사실 검증 및 환각 감지 벤치마크에서 기본 모델보다 우수합니다.
  • 불완전한 증거가 있는 검색 기반 설정에서 KLLMs는 표준 언어 모델 대비 최대 20--25%의 상대적 이득을 달성합니다.
  • 모델은 더 나은 교정(개선된 ECE, Brier 점수, AUROC)과 더 신뢰할 수 있는 거부 행동을 보입니다.

이 결과는 엔티티 연결 감독을 억제하는 것이 인식론적 행동의 전환을 유도하여 KLLMs가 매개변수 지식에 덜 의존하고 외부 증거에 더 의존하여 신뢰성을 향상시킨다는 것을 보여줍니다.