Sebuah studi memeriksa aktivasi pada token prompt terakhir di dua belas model yang disetel instruksi dari keluarga Bielik, PLLuM, Gemma-4, dan Qwen3 untuk menentukan apakah mereka dapat memperkirakan familiaritas dengan suatu entitas sebelum menghasilkan jawaban. Menggunakan dataset berisi 1.440 entitas Polandia, para peneliti menemukan bahwa skor probe familiaritas secara efektif memisahkan entitas nyata dari entitas buatan di seluruh keluarga model.
- Skor probe familiaritas melacak popularitas entitas dalam model Bielik dan PLLuM yang diadaptasi ke bahasa Polandia (Spearman ρ 0,28-0,57), pola yang kurang jelas pada Gemma-4 dan Qwen3.
- Probe mempertahankan 96-101% AUROC intra-bahasa ketika batang pertanyaan diubah dari bahasa Polandia ke bahasa Inggris, menunjukkan ketahanan terhadap bahasa prompt.
- Pada Gemma-4-12B, menambahkan arah familiaritas satu dimensi pada satu lapisan memungkinkan kontrol monoton atas tingkat penolakan untuk entitas yang diketahui maupun tidak diketahui.
- Probe familiaritas yang terkalibrasi kompetitif sebagai gerbang abstensi pra-generasi, meskipun detektor pasca-generasi lebih baik memprediksi kesalahan perilaku.
Hasil-hasil tersebut mendukung keberadaan pembacaan familiaritas entitas pra-generasi bertingkat dan menyoroti pemisahan antara familiaritas representasional dan kebijakan yang mengubahnya menjadi abstensi.