Sebuah penelitian mengevaluasi apakah empat model bahasa besar terdepan (GPT, Claude Opus, Gemini, dan GLM) dapat mengaproksimasi penilaian ahli saat memberi nilai respons perintah Linux/bash singkat dari mahasiswa teknik komputer tahun kedua.
- Penelitian ini memanfaatkan taksonomi kognitif empat tingkat yang mencakup pengambilan informasi hingga manajemen sistem lanjutan pada 1200 respons nyata mahasiswa yang dinilai oleh tiga ahli.
- Gemini 3.0 Pro dengan prompting yang dipandu rubrik mencapai kesepakatan manusia-AI tertinggi, dengan ICC(3,1) sebesar 0,888 dan Mean Absolute Error (MAE) sebesar 0,10.
- Kesepakatan menurun seiring meningkatnya tingkat taksonomi, dengan perbedaan terbesar terjadi pada tingkat kompleksitas yang lebih tinggi.
- Di seluruh model, kualitas rubrik memiliki pengaruh lebih besar terhadap kinerja dibandingkan pilihan penyedia model, dengan prompting terstruktur secara konsisten meningkatkan kesepakatan.
Hasil-hasil ini menetapkan kerangka kerja prinsipil untuk menentukan pertanyaan mana yang cocok untuk penilaian yang dibantu AI dan menyediakan protokol evaluasi serta templat prompting yang dapat ditransfer.