Une étude portant sur quatre modèles Bielik polonais (1,5 à 11 milliards de paramètres) démontre que les mesures non supervisées de la dispersion de l'activation peuvent distinguer les entités connues des entités fabriquées avant même qu'un jeton de réponse ne soit généré. En utilisant le rapport de participation inverse et l'entropie spectrale sur les activations MLP post-SwiGLU, les chercheurs ont obtenu des scores AUROC de 0,95 à 1,00 dans les domaines des athlètes, des villes, des écrivains et des musiciens.
- Le signal sépare les entités connues des entités fabriquées avec une performance au plafond, résistant à la sélection de couches hors jeu et se transférant entre les types d'entités avec un AUROC moyen hors diagonale de 0,92 à 0,99.
- Bien que le signal représentationnel de la familiarité atteigne son plafond à 1,5 milliard de paramètres, la fiabilité factuelle comportementale augmente fortement, le nombre de réponses correctes passant de 0 à 19 à mesure que la taille du modèle augmente.
- Séparer les réponses correctes des hallucinations au sein des entités connues reste difficile, la dispersion ne performant pas mieux qu'une ligne de base basée sur l'entropie du premier jeton.
- Malgré cette conscience interne de la familiarité des entités, les modèles s'abstiennent presque toujours de répondre ; un audit a révélé seulement deux refus et une hésitation parmi 2 520 réponses.
Les résultats indiquent que la familiarité des entités et la fiabilité factuelle sont des phénomènes distincts suivant des courbes d'échelle différentes, suggérant que les signaux d'activation internes seuls peuvent ne pas suffire à prévenir les hallucinations sans mécanismes supplémentaires.