एक अध्ययन ने मूल्यांकन किया कि चार अग्रणी बड़े भाषा मॉडल (GPT, Claude Opus, Gemini और GLM) कंप्यूटर इंजीनियरिंग के दूसरे वर्ष के छात्रों की छोटी Linux/bash कमांड प्रतिक्रियाओं को ग्रेड करते समय विशेषज्ञ निर्णय का अनुमान लगा सकते हैं या नहीं।
- शोध ने तीन विशेषज्ञों द्वारा ग्रेड किए गए 1200 वास्तविक छात्र प्रतिक्रियाओं पर सूचना पुनर्प्राप्ति से उन्नत सिस्टम प्रबंधन तक चौतरफा संज्ञानात्मक वर्गीकरण का उपयोग किया।
- रूब्रिक-गाइडेड प्रॉम्प्टिंग के साथ Gemini 3.0 Pro ने सबसे अधिक मानव-AI सहमति हासिल की, जिसमें ICC(3,1) 0.888 और माध्य निरपेक्ष त्रुटि (MAE) 0.10 थी।
- संज्ञानात्मक स्तर बढ़ने के साथ सहमति कम हो गई, सबसे बड़ी असंगतियाँ उच्च जटिलता स्तरों पर हुईं।
- सभी मॉडलों में, रूब्रिक की गुणवत्ता का प्रदर्शन पर मॉडल प्रदाता चयन की तुलना में अधिक प्रभाव था, और संरचित प्रॉम्प्ट्स ने लगातार सहमति को बेहतर बनाया।
ये परिणाम AI-सहायतित ग्रेडिंग के लिए उपयुक्त प्रश्नों को निर्धारित करने के लिए एक सिद्धांतवादी ढांचा स्थापित करते हैं और एक स्थानांतरणीय मूल्यांकन प्रोटोकॉल और प्रॉम्प्ट टेम्पलेट प्रदान करते हैं।