Une étude révèle que les juges basés sur des grands modèles de langage (LLM) ont tendance à être trop indulgents lors de l'évaluation de réponses ouvertes dans des contextes sans référence, où aucune réponse de vérité terrain n'est fournie. La recherche démontre que ces modèles attribuent souvent incorrectement du crédit aux mauvaises réponses et que leurs jugements sont très sensibles à la présence d'informations de référence.
- Des expériences de calibration ont évalué la connaissance du modèle juge concernant la tâche qu'il évaluait.
- Des expériences de sensibilité ont mesuré comment les performances changeaient en fonction de la présence et du positionnement des réponses de référence.
- À travers trois langues, l'ajout d'informations de réponse de référence a inversé les décisions correct/incorrect jusqu'à 85 % dans certains cas.
- Ces changements pilotés par la référence étaient généralement alignés avec les annotations humaines lorsqu'ils ont été comparés à un sous-ensemble.
Les auteurs soulignent la nécessité de calibrer les juges LLM avec des échantillons d'évaluation conscients de la référence avant de les utiliser de manière fiable dans des configurations sans référence.