Los investigadores presentan AIriskEval-edu-db2, un nuevo conjunto de datos diseñado para entrenar y evaluar auditores basados en LLM para la evaluación pedagógica de riesgos en contenido educativo de K-12. El conjunto de datos contiene 1.639 explicaciones derivadas de 170 preguntas de ScienceQA en ciencias, artes del lenguaje y ciencias sociales.
- Cada pregunta incluye una explicación escrita por humanos junto con 11 generadas perfiles de profesores simulados por LLM con riesgos pedagógicos distintos.
- Una rúbrica integral de riesgos cubre cinco dimensiones: precisión factual, profundidad y completitud, enfoque y relevancia, adecuación al nivel del estudiante y sesgo ideológico.
- El conjunto de datos añade 785 explicaciones con anotaciones de explicabilidad estructuradas, incluyendo localización y descripción de riesgos, validadas por profesores expertos.
- Los experimentos de validación comparan modelos propietarios contra un modelo Llama 3.1 8B local afinado para la detección de riesgos y evaluación de explicabilidad.
El estudio evalúa si el ajuste fino supervisado en este conjunto de datos permite que un modelo desplegable localmente se acerque o supere a modelos fronterizos más fuertes mientras preserva la privacidad en la auditoría educativa.