L'article traite l'ambiguïté du remplacement de l'évaluateur comme un problème de validité de mesure, démontrant que les scores LLM-as-judge peuvent varier même lorsque les réponses candidates restent fixes. Sur quatre ensembles de données de jugement, les auteurs comparent le passage à l'échelle des juges denses Qwen3 de 1,7B à 32B paramètres et la commutation entre les API releases MiniMax M2-M2.7.
- Seule la mise à niveau de Qwen3 1,7B à 4B procure un gain adjacent robuste ; les autres mises à niveau ne sont pas interchangeables.
- Les versions adjacentes de MiniMax n'apportent pas d'améliorations cohérentes en matière de stabilité de mesure.
- Des juges plus puissants réduisent mais n'éliminent pas le biais de position et de verbosité.
- Des jurys à échantillonnage répété ajoutent peu de valeur lorsque les erreurs sont corrélées.
- Le débat structuré peut modifier substantiellement les décisions, mais l'attribution nécessite des journaux de parseur et de repli.
Les auteurs soutiennent que les rapports LLM-as-judge devraient inclure des tranches de jeu de données, des sondes de biais, des estimations de dépendance aux erreurs et des traces d'audit du protocole pour garantir la fiabilité.