Pesquisadores apresentam o AIriskEval-edu-db2, um novo conjunto de dados projetado para treinar e avaliar auditores baseados em LLM para avaliação pedagógica de riscos em conteúdo educacional do K-12. O conjunto de dados contém 1.639 explicações derivadas de 170 perguntas do ScienceQA em ciências, artes da linguagem e ciências sociais.
- Cada pergunta inclui uma explicação escrita por humanos junto com 11 geradas por perfis de professores simulados por LLM com riscos pedagógicos distintos.
- Uma rubrica abrangente de riscos cobre cinco dimensões: precisão factual, profundidade e completude, foco e relevância, adequação ao nível do aluno e viés ideológico.
- O conjunto de dados adiciona 785 explicações com anotações de explicabilidade estruturadas, incluindo localização e descrição de riscos, validadas por professores especialistas.
- Experimentos de validação comparam modelos proprietários contra um modelo Llama 3.1 8B local ajustado para detecção de risco e avaliação de explicabilidade.
O estudo avalia se o ajuste fino supervisionado neste conjunto de dados permite que um modelo implantável localmente se aproxime ou supere modelos frontier mais fortes enquanto preserva a privacidade na auditoria educacional.