Авторы представляют AI Textbook Auditor, модульный многоагентный конвейер, предназначенный для автоматического обеспечения качества учебных пособий. Система обрабатывает PDF-файлы учебников для генерации структурированных отчетов по двум параллельным направлениям: Фактологическому и Техническому направлению, которое выявляет неточности с помощью специализированных LLM-агентов, и Грамматическому направлению, сохраняющему диакритическое кодирование.
- Агент Judge фильтрует ложные срабатывания на основе правил, специфичных для предметной области, прежде чем представить результаты человеческим рецензентам.
- Конвейер поддерживает рендеринг страниц с нативным зрением и извлечение текста PyMuPDF для загрузки данных.
- При тестировании на румынских учебниках старшей школы система выявила 56 технических замечаний в учебнике по информатике с точностью, подтвержденной экспертами, на уровне 62,5%.
- Она также обнаружила 72 замечания в учебнике по истории и общественным наукам, охватывающие фактические ошибки, идеологическую предвзятость и грамматику.
Система служит инструментом сортировки для сокращения ручных усилий при поиске потенциальных проблем, хотя перед любым редакционным вмешательством требуется проверка экспертами-людьми.