Para peneliti mengatasi tantangan penilaian esai otomatis ketika pendidik merevisi atau memperkenalkan rubrik baru, sebuah skenario yang dikenal sebagai generalisasi lintas-rubrik. Mereka mengusulkan kerangka kerja penyetelan halus untuk Model Bahasa Besar yang memanfaatkan representasi perantara bebas-rubrik yang disebut "trait" bersama dengan pengawasan esai target selama pelatihan.
- Pendekatan ini meningkatkan F1 makro sebesar 5,0% dibandingkan basis tanpa trait dalam pengaturan tersulit di mana rubrik dan esai target tidak terlihat selama pelatihan.
- Meningkatkan pengawasan esai target lebih lanjut meningkatkan kinerja, memungkinkan model berbasis Llama open-source yang disetel halus terbaik untuk melampaui prompting GPT-5-mini sebesar 2,1% F1 makro.
- Model berbasis Llama yang sama tertinggal dari GPT-5 hanya 1,9% dalam evaluasi ini.
Hasil-hasil ini menunjukkan bahwa menggabungkan struktur perantara berbasis trait dan pengawasan terkontrol secara efektif meningkatkan generalisasi ke rubrik penilaian yang sebelumnya tidak terlihat.