本論文は、GEIS（Generation-Evaluation-Improvement loop of agent Skills）を紹介し、固定されたマルチエージェントパイプラインに代わって名前付きの宣言的スキルを用いるWikipediaスタイルの長文記事生成のためのフレームワークを提示します。Tasi Harnessで実装され、このシステムは監査可能で反復的な改善を可能にするために、執筆、証拠収集、評価のための専門モジュールを組み立てます。

  • GEISは、Request、Plan、Draft、Audit、Refine、Deliverのシーケンスに従うコアな執筆スキルを実装しています。
  • ペアワイズ評価スキルは、PDF対応の評価を用いて構造化された品質レポートを生成します。
  • 改善スキルは、再発する発見事項を執筆スキルの恒久的なパッチにマッピングします。
  • 20トピックの実験において、GEISは100点満点のPDF品質ルーブリックでTasi Harnessのデフォルトライターより8.0ポイント向上しました。
  • パッチ適用後の執筆スキルは平均スコアを82.90から86.95に引き上げ、20トピック中17で改善が見られました。

著者らは、長文生成を評価ガイド付きのループとして再構成することで、絡み合ったプロンプトベースのシステムと比較してモジュール化され監査可能なワークフローが可能になると主張しています。