Une étude portant sur quatre modèles Bielik polonais (1,5 à 11 milliards de paramètres) démontre que les mesures non supervisées de la dispersion de l'activation peuvent distinguer les entités connues des entités fabriquées avec une grande précision avant qu'aucun jeton de réponse ne soit généré.
- Le rapport de participation inverse et l'entropie spectrale sur les activations MLP post-SwiGLU séparent les entités connues des entités fabriquées à un AUROC de 0,95 à 1,00 dans tous les domaines et à toutes les échelles.
- Le signal se transfère entre les types d'entités, survit à la sélection de couches hors échantillon et persiste sur les noms réels avec un AUROC de 0,96 à 1,00.
- Bien que le signal représentationnel atteigne des performances maximales à 1,5 milliard de paramètres, la fiabilité factuelle comportementale augmente fortement, les réponses correctes passant de 0 à 19 sur 42 à mesure que la taille du modèle croît.
- Malgré cette conscience interne, les modèles s'abstiennent presque toujours ; un audit n'a relevé que deux refus et une réserve parmi 2 520 réponses.
Les résultats indiquent que la familiarité des entités et la fiabilité factuelle sont des phénomènes distincts fonctionnant selon des courbes de mise à l'échelle différentes, remettant en cause l'hypothèse selon laquelle les signaux d'activation interne corrèlent directement avec la justesse comportementale.