Les chercheurs présentent AIriskEval-edu-db2, un nouveau dataset conçu pour entraîner et évaluer des auditeurs basés sur des LLM pour l'évaluation des risques pédagogiques dans le contenu éducatif K-12. Le dataset contient 1 639 explications dérivées de 170 questions ScienceQA couvrant les sciences, les arts du langage et les sciences sociales.
- Chaque question comprend une explication écrite par un humain ainsi que 11 générées par des profils d'enseigneurs simulés par LLM avec des risques pédagogiques distincts.
- Une grille de risque complète couvre cinq dimensions : précision factuelle, profondeur et exhaustivité, focus et pertinence, adéquation au niveau de l'étudiant et biais idéologique.
- Le dataset ajoute 785 explications avec des annotations d'explicabilité structurées, incluant la localisation et la description du risque, validées par des enseignants experts.
- Les expériences de validation comparent des modèles propriétaires à un modèle Llama 3.1 8B local affiné pour la détection des risques et l'évaluation de l'explicabilité.
L'étude évalue si le fine-tuning supervisé sur ce dataset permet à un modèle localement déployable d'approcher ou de surpasser des modèles frontier plus puissants tout en préservant la confidentialité dans l'audit éducatif.