저자들은 교육용 교과서의 자동 품질 보장을 위해 설계된 모듈형 다중 에이전트 파이프라인인 AI Textbook Auditor를 제시합니다. 이 시스템은 교과서 PDF를 처리하여 두 개의 병렬 트랙을 통해 구조화된 보고서를 생성합니다. 하나는 전문 LLM 에이전트를 사용하여 부정확성을 감지하는 '사실 및 기술' 트랙이고, 다른 하나는 악센트 부호 인코딩을 보존하는 '문법' 트랙입니다.
- Judge Agent는 도메인별 규칙을 사용하여 거짓 양성을 필터링한 후 발견 사항을 인간 검토자에게 제시합니다.
- 파이프라인은 ingestion을 위해 비전 내재적 페이지 렌더링과 PyMuPDF 텍스트 추출을 지원합니다.
루마니아 고등학교 교과서를 대상으로 한 테스트에서 이 시스템은 62.5%의 전문가 검증 정밀도로 컴퓨터 과학 교과서에서 56건의 기술적 발견을 식별했습니다.
또한 역사 및 사회과학 교과서에서 72건의 발견을 감지했으며, 여기에는 사실 오류, 이데올로기적 편향 및 문법이 포함됩니다.
이 시스템은 후보 문제 위치 찾기에 대한 수동 노력을 줄이는 삼차 분류 도구 역할을 하지만, 어떤 편집 조치 전에든 인간 전문가의 검증이 필요합니다.