Une étude a évalué si quatre grands modèles de langage (GPT, Claude Opus, Gemini et GLM) pouvaient approximer le jugement d'experts lors de la notation de réponses courtes aux commandes Linux/bash fournies par des étudiants en génie informatique de deuxième année.
- La recherche a utilisé une taxonomie cognitive à quatre niveaux allant de la récupération d'informations à la gestion avancée des systèmes sur 1200 réponses réelles d'étudiants notées par trois experts.
- Gemini 3.0 Pro avec incitation guidée par une grille d'évaluation a obtenu le plus haut accord humain-IA, avec un ICC(3,1) de 0,888 et une erreur absolue moyenne (MAE) de 0,10.
- L'accord a diminué à mesure que le niveau de la taxonomie augmentait, les plus grandes divergences survenant aux niveaux de complexité les plus élevés.
- Pour tous les modèles, la qualité de la grille d'évaluation a eu un effet plus important sur les performances que le choix du fournisseur du modèle, les incitations structurées améliorant systématiquement l'accord.
Ces résultats établissent un cadre principé pour déterminer quelles questions conviennent à la notation assistée par IA et fournissent un protocole d'évaluation transférable ainsi que des modèles d'incitation.