La calibration réduit le couplage des préférences de l'évaluateur dans les boucles de rétroaction des agents LLM

Une étude examine si la calibration probabiliste des jugements de l'évaluateur peut atténuer le "couplage des préférences de l'évaluateur", où des biais systématiques se propagent vers la stratégie d'un agent LLM. Les auteurs présentent la première analyse de cette approche d'atténuation, en appliquant la calibration aux jugements par paires pour réduire la propagation de préférences fallacieuses.

• Dans une expérience contrôlée utilisant DeepSeek-V4-Pro comme exécuteur et GLM5.2 comme évaluateur, le TTRL calibré par confiance a réduit le coefficient de couplage gamma de 20 à 49 % par rapport aux mises à jour binaires standard.
• La divergence Jensen-Shannon a été réduite de 45 à 67 % avec la méthode calibrée.
• Un contrôle avec un taux d'apprentissage symétrique (symmetric-LR) a confirmé que ces améliorations ne provenaient pas d'une asymétrie réduite des mises à jour.

Les auteurs publient le protocole TTRL calibré et le recommandent comme une atténuation légère pour les pipelines de déploiement LLM-as-judge.