研究人员推出了AIriskEval-edu-db2，这是一个新数据集，旨在训练和评估基于LLM的审计员，用于K-12教育内容的教学风险评估。该数据集包含来自ScienceQA中科学、语言艺术和社会科学领域的170个问题的1,639条解释。

  • 每个问题包括一条人工编写的解释以及由具有不同教学风险的LLM模拟教师配置文件生成的11条解释。
  • 全面的风险评分标准涵盖五个维度：事实准确性、深度和完整性、焦点和相关性、学生水平适宜性以及意识形态偏见。
  • 该数据集增加了785条带有结构化可解释性注释的解释，包括风险定位和描述，并由专家教师验证。
  • 验证实验将专有模型与微调后的本地Llama 3.1 8B模型进行比较，用于风险检测和可解释性评估。

该研究评估了在此数据集上进行监督微调是否能使可本地部署的模型接近或超越更强的前沿模型，同时在教育审计中保护隐私。