L'audit de la fiabilité du juge LLM-as-Judge montre que les mises à niveau des juges ne sont pas interchangeables

Une étude traite l'ambiguïté du remplacement de l'évaluateur comme un problème de validité de mesure, démontrant que les scores du juge LLM-as-judge peuvent varier même lorsque les réponses candidates restent fixes. Les auteurs comparent deux chemins de mise à niveau sur quatre ensembles de données de jugement : le passage à l'échelle des juges denses Qwen3 de 1,7B à 32B paramètres et le déplacement entre les APIs MiniMax M2-M2.7 publiées.

• Seule la mise à niveau de Qwen3 1,7B vers 4B fournit un gain adjacent robuste, tandis que les versions adjacentes de MiniMax ne le font pas.
• Des juges plus puissants réduisent mais n'éliminent pas les biais de position et de verbosité.
• Les jurys à échantillonnage répété ajoutent peu de valeur lorsque les erreurs sont corrélées.
• Le débat structuré peut considérablement modifier les décisions, mais ces changements ne peuvent être attribués à la délibération sans journaux d'analyseur et de repli.

Les auteurs soutiennent que les rapports LLM-as-judge devraient inclure des tranches de jeu de données, des sondes de biais, des estimations de dépendance des erreurs et des traces d'audit du protocole pour garantir la fiabilité.