著者らは、教育用教科書の自動品質保証のために設計されたモジュール型マルチエージェントパイプラインであるAI Textbook Auditorを発表します。このシステムは教科書のPDFを処理し、2つの並列トラックを通じて構造化されたレポートを生成します。1つは専門的なLLMエージェントを使用して不正確な情報を検出する「事実と技術」トラック、もう1つはアクセント記号のエンコーディングを保持する「文法」トラックです。

  • Judge Agentは、ドメイン固有のルールを使用して偽陽性をフィルタリングし、その結果を人間のレビューヤーに提示します。
  • パイプラインは、取り込みのためにビジョンネイティブなページレンダリングとPyMuPDFテキスト抽出をサポートしています。

ルーマニアの高等学校向け教科書でのテストでは、このシステムは62.5%の専門家の検証済み精度で、コンピュータサイエンス教科書において56件の技術的な発見を特定しました。

また、歴史および社会科学の教科書において72件の発見を検出し、これには事実上の誤り、イデオロギー的バイアス、文法が含まれます。

このシステムは、候補となる問題の位置特定における手動作業を削減するためのトリアージツールとして機能しますが、いかなる編集処理を行う前にも人間の専門家の検証が必要です。