著者らは、最終的なループに人間の専門家を必要とせずに、金融ディープリサーチエージェント用の高品質な評価基準を生成するためのスケーラブルなパイプラインである FinResearchBench II を提示する。このベンチマークは 104 の実世界のユーザークエリから構築され、モデル生成レポートから自動的に 14,450 件の候補基準を合成する。

  • LLM ベースの評価は、共同で一致した項目において人間の専門家と 98.67% のラベルレベルの合意を示し、大規模スクリーニングでの使用を検証している。
  • コンセンサス由来のゴールド基準は、厳格な一貫性フィルターと識別可能フィルターを使用して導出され、最終的に 2,600 件の基準が得られた。
  • このベンチマークは 10 のディープリサーチシステム間で明確に区別されたランキングを生成し、項目レベルのパス率は 58.58% から 22.23% の範囲である。

このアプローチは、基準の生成と評価から人間の専門家の実行を排除し、ベンチマーク評価、自動システム比較、および評価駆動型システムの改善に関する将来の研究に対して自然にスケーラブルなものにする。