Peneliti memperkenalkan Knowledge--''Less'' Language Models (KLLMs), sebuah paradigma pelatihan yang menganonimkan entitas bernama selama pra-pelatihan untuk mengalihkan model dari recall parametrik menuju penalaran berbasis bukti.

  • KLLMs dilatih pada korpus dengan entitas bernama yang dianonimkan, menghapus pengawasan faktual yang terkait entitas.
  • Intervensi ini secara substansial mengurangi recall faktual buku tertutup sambil meningkatkan kinerja pada tugas di mana informasi disediakan sebagai konteks.
  • Di berbagai skala, KLLMs mengungguli baseline pada benchmark pertanyaan kontekstual, verifikasi fakta, dan deteksi halusinasi.
  • Dalam pengaturan berbasis pengambilan dengan bukti yang tidak sempurna, KLLMs mencapai peningkatan relatif hingga 20--25% dibandingkan model bahasa standar.
  • Model menunjukkan kalibrasi yang lebih baik (ECE, skor Brier, AUROC yang meningkat) dan perilaku abstensi yang lebih andal.

Hasil-hasil tersebut menunjukkan bahwa menekan pengawasan terkait entitas menginduksi pergeseran dalam perilaku epistemik, membuat KLLMs bergantung lebih sedikit pada pengetahuan parametrik dan lebih banyak pada bukti eksternal untuk keandalan yang lebih baik.