ある研究は、Bielik、PLLuM、Gemma-4、Qwen3ファミリーに属する12つのインストラクションチューニング済みモデルにおいて、回答生成前にエンティティへの熟悉度を推定できるかどうかを調べるため、最後のプロンプトトークンでの活性化を分析した。1,440個のポーランド語エンティティからなるデータセットを用い、研究者らは、熟悉度プローブスコアがすべてのモデルファミリーにおいて実在するエンティティと捏造されたエンティティを効果的に分離できることを発見した。

  • 熟悉度プローブスコアは、ポーランド語適応版BielikおよびPLLuMモデルにおけるエンティティの人気度を追跡しており（Spearman ρ 0.28-0.57）、このパターンはGemma-4やQwen3ではあまり明確ではない。
  • プロンプト言語をポーランド語から英語に切り替えてもプローブは言語内AUROCの96-101%を維持しており、プロンプト言語に対する頑健性を示している。
  • Gemma-4-12Bにおいて、単一層に一次元の熟悉度方向を追加することで、既知および未知のエンティティ両方に対して拒否率を単調に制御可能となる。
  • 較正された熟悉度プローブは生成前拒否ゲートとして競争力があるが、行動エラーの予測には生成後検出器の方が優れている。

これらの結果は、段階的な生成前エンティティ熟悉度読み取りの存在を示唆し、表現論的熟悉度とそれを拒否行動に変換するポリシーとの間に分離があることを浮き彫りにしている。