Cette étude présente la première méta-évaluation systématique de grilles d'évaluation générées par des LLM, conçues pour évaluer des sorties à réponse ouverte dans des tâches de reproduction d'articles. Les auteurs reformulent les grilles sous forme de liste de contrôle et évaluent quatre paramètres de génération sur deux modèles de base.
- Les grilles sont évaluées intrinsèquement via la similarité sémantique et extrinsèquement par l'alignement des scores avec les grilles de référence.
- Les paramètres de génération augmentés améliorent considérablement l'alignement de l'évaluation en aval, le paramètre le plus puissant approchant les références humaines.
- Il est noté que les gains intrinsèques de l'augmentation sont plus modestes par rapport aux améliorations extrinsèques.
- Une analyse approfondie révèle que les grilles générées par les LLM ont tendance à être trop fines, biaisées vers des scores élevés et moins adaptatives aux domaines spécifiques des articles.
Ces résultats mettent en lumière à la fois les avantages et les limites de l'utilisation des LLM pour la construction d'évaluations évolutives, indiquant que bien que les paramètres augmentés améliorent l'alignement, des biais significatifs persistent.