Les chercheurs s'attaquent au défi de la notation automatisée des dissertations lorsque les éducateurs révisent ou introduisent de nouvelles grilles, un scénario connu sous le nom de généralisation inter-grilles. Ils proposent un cadre de réglage fin pour les grands modèles de langage qui utilise des représentations intermédiaires indépendantes de la grille, appelées « traits », conjointement à la supervision par les dissertations cibles pendant l'entraînement.
- L'approche améliore le F1 macro de 5,0 % par rapport à une ligne de base sans traits dans le paramètre le plus difficile où les grilles cibles et les dissertations sont inconnues lors de l'entraînement.
- L'augmentation de la supervision par les dissertations cibles améliore davantage les performances, permettant au meilleur modèle open-source basé sur Llama réglé finement de dépasser l'inférence par prompt de GPT-5-mini de 2,1 % en F1 macro.
- Le même modèle basé sur Llama ne devance GPT-5 que de 1,9 % dans cette évaluation.
Ces résultats démontrent que l'intégration d'une structure intermédiaire basée sur les traits et d'une supervision contrôlée améliore efficacement la généralisation à des grilles de notation précédemment inconnues.