一项研究考察了来自Bielik、PLLuM、Gemma-4和Qwen3系列的十二个指令微调模型在最终提示词标记处的激活情况，以确定它们是否能在生成答案之前估计对某个实体的熟悉程度。通过使用包含1,440个波兰实体的数据集，研究人员发现，熟悉度探针得分在所有模型系列中都能有效区分真实实体与虚构实体。

  • 在针对波兰语适配的Bielik和PLLuM模型中，熟悉度探针得分追踪了实体的流行度（Spearman ρ 0.28-0.57），而在Gemma-4和Qwen3中这一模式不太明显。
  • 当问题引导语从波兰语切换为英语时，探针保留了96-101%的域内AUROC，证明其对提示语言具有鲁棒性。
  • 在Gemma-4-12B中，在单个层添加一维熟悉度方向允许对已知和未知实体的拒绝率进行单调控制。
  • 校准后的熟悉度探针作为预生成弃权门具有竞争力，尽管后生成检测器能更好地预测行为错误。

结果支持了分级预生成实体熟悉度读数的存在，并突出了表征熟悉度与将其转换为弃权的策略之间的分离。