قّامت دراسة بتقييم ما إذا كان بإمكان أربعة نماذج لغوية كبيرة متطورة (GPT، Claude Opus، Gemini، وGLM) محاكاة حكم الخبراء عند تصحيح ردود قصيرة على أوامر لينكش/باش من طلاب الهندسة الحاسوبية في السنة الثانية.
- استخدمت البحث تصنيفًا معرفيًا من أربع مستويات يمتد من استرجاع المعلومات إلى إدارة الأنظمة المتقدمة عبر 1200 رد فعلي لطلاب تم تصحيحها بواسطة ثلاثة خبراء.
- حقق Gemini 3.0 Pro مع التوجيه المعتمد على معايير التصحيح أعلى اتفاق بين الإنسان والذكاء الاصطناعي، بمعامل اتساق داخلي (ICC(3,1) قدره 0.888 وخطأ مطلق متوسط (MAE) قدره 0.10.
- انخفض الاتفاق مع زيادة مستوى التصنيف، حيث حدثت أكبر الفروق في المستويات الأعلى من التعقيد.
- عبر جميع النماذج، كان لمعيار جودة معايير التصحيح تأثير أكبر على الأداء من اختيار مزود النموذج، حيث حسّنت التوجيهات المهيكلة الاتفاق بشكل متسق.
تؤسس هذه النتائج إطارًا مبدئيًا لتحديد الأسئلة المناسبة للتصحيح بمساعدة الذكاء الاصطناعي، وتوفر بروتوكول تقييم قابل للنقل وقوالب توجيه.