Para peneliti memperkenalkan AIriskEval-edu-db2, sebuah dataset baru yang dirancang untuk melatih dan mengevaluasi auditor berbasis LLM untuk penilaian risiko pedagogis dalam konten pendidikan K-12. Dataset ini berisi 1.639 penjelasan yang berasal dari 170 pertanyaan ScienceQA di bidang sains, seni bahasa, dan ilmu sosial.
- Setiap pertanyaan mencakup satu penjelasan yang ditulis oleh manusia bersama dengan 11 yang dihasilkan oleh profil guru yang disimulasikan LLM dengan risiko pedagogis yang berbeda.
- Rubrik risiko komprehensif mencakup lima dimensi: ketepatan faktual, kedalaman dan kelengkapan, fokus dan relevansi, kesesuaian tingkat siswa, dan bias ideologis.
- Dataset ini menambahkan 785 penjelasan dengan anotasi explainability terstruktur, termasuk lokalisasi dan deskripsi risiko, yang divalidasi oleh guru ahli.
- Eksperimen validasi membandingkan model tertutup dengan model Llama 3.1 8B lokal yang di-fine-tune untuk deteksi risiko dan penilaian explainability.
Studi ini mengevaluasi apakah fine-tuning terawasi pada dataset ini memungkinkan model yang dapat di-deploy secara lokal untuk mendekati atau mengungguli model frontier yang lebih kuat sambil mempertahankan privasi dalam audit pendidikan.