Para peneliti mengusulkan kerangka evaluasi yang menggunakan regresi terregularisasi pada embedding teks item untuk memprediksi sifat psikometrik, mengatasi masalah cold start dalam kalibrasi item. Studi ini menerapkan metode ini pada bank item matematika (EEDI) dan benchmark lisensi medis (BEA 2024), memperkenalkan batas keandalan dan desain sebagai batas atas kinerja.
- Kesulitan item sangat dapat diprediksi dari teks, mencapai R kuadrat silang berulang sebesar 0.53, yang mewakili sekitar 57% dari batas keandalannya.
- Parameter diskriminasi dan tebak palsu tampaknya kurang dapat diprediksi, tetapi ini berasal dari keandalan target yang rendah bukan dari kekuatan sinyal teks yang lemah.
- Teks secara seragam memulihkan 57 hingga 63% dari varians andal di seluruh target kesulitan, sementara batas keandalan parameter tebak palsu 3PL mendekati nol.
- Pada benchmark BEA, regresi berbasis embedding sesuai dengan RMSE papan peringkat meskipun menjelaskan hampir tidak ada varians, menyoroti kebutuhan metrik bebas skala.
- Satu split pelatihan dan pengujian dapat membanting akurasi tampak sebesar 0.1 hingga 0.15 dalam R kuadrat, menekankan perlunya validasi silang berulang.
Para penulis menganggap ini penting karena menunjukkan bahwa embedding teks dapat secara efektif memprediksi kesulitan item dan menyediakan kerangka kerja yang ketat untuk benchmarking aplikasi dukungan kalibrasi.