Une étude remet en question l'approche entrée-sortie prévalente concernant le biais de notation du juge LLM-as-Judge, en démontrant que les biais sont encodés dans la géométrie d'activation cachée du modèle. Les auteurs analysent sept juges sur neuf benchmarks et identifient un sous-espace de dimension faible et spécifique au type où les entrées biaisées sont déplacées.
- Les entrées de jugement de base occupent une variété d'activation serrée, tandis que les entrées biaisées se déplacent le long d'un sous-espace qui s'affine avec la profondeur du réseau.
- Le pilotage des états cachés le long de ce sous-espace spécifique entraîne causalement la notation dans les deux directions, tandis que les directions aléatoires produisent des effets négligeables.
- Une projection linéaire sur ces caractéristiques de direction de biais anticipe avec précision les échecs des juges sur trois benchmarks non vus, surpassant les méthodes basées sur le texte.
Lire le biais comme une géométrie d'activation unifie la structure géométrique, le contrôle causal et la prédiction opérationnelle au sein d'un cadre unique pour comprendre le comportement de jugement des LLM.