Cette étude présente un compte-rendu au niveau de la représentation du biais de notation dans les modèles LLM-as-Judge, analysant les états cachés du juge plutôt que les perturbations entrée-sortie. Les auteurs rapportent des résultats sur sept juges, sept types de biais et neuf benchmarks.
- Les entrées biaisées sont déplacées le long d'un sous-espace de faible dimension spécifique au type qui s'affine avec la profondeur, tandis que les entrées de base occupent une variété d'activation serrée.
- Orienter les états cachés le long de ce sous-espace entraîne la notation dans les deux directions, tandis que des directions aléatoires produisent des décalages un ordre de grandeur plus petits.
- Une projection linéaire sur les caractéristiques de direction de biais anticipe les échecs du juge sur trois benchmarks non vus, surpassant largement les alternatives basées sur le texte.
Lire le biais comme une géométrie d'activation unifie la structure géométrique, le contrôle causal et la prédiction opérationnelle au sein d'un cadre unique.