Une étude examine les activations au niveau du dernier token de l'invite dans douze modèles ajustés sur instruction issus des familles Bielik, PLLuM, Gemma-4 et Qwen3 pour déterminer s'ils peuvent estimer la familiarité avec une entité avant de générer une réponse. En utilisant un jeu de données de 1 440 entités polonaises, les chercheurs ont constaté que les scores des sondes de familiarité séparent efficacement les entités réelles des entités fabriquées au sein de toutes les familles de modèles.

  • Les scores des sondes de familiarité suivent la popularité des entités dans les modèles Bielik et PLLuM adaptés au polonais (Spearman ρ 0,28-0,57), un motif moins évident dans Gemma-4 et Qwen3.
  • Les sondes conservent 96 à 101 % de l'AUROC intra-langue lorsque la phrase d'invite est passée du polonais à l'anglais, démontrant une robustesse vis-à-vis de la langue de l'invite.
  • Dans Gemma-4-12B, l'ajout d'une direction de familiarité unidimensionnelle à une seule couche permet un contrôle monotone des taux de refus pour les entités connues et inconnues.
  • Les sondes de familiarité calibrées sont compétitives en tant que portes d'abstention pré-génération, bien que les détecteurs post-génération prédisent mieux les erreurs comportementales.

Les résultats soutiennent l'existence de lectures de familiarité graduées des entités avant la génération et mettent en évidence une séparation entre la familiarité représentationnelle et la politique qui la convertit en abstention.