本研究は、論文再現タスクにおいてオープンエンドの出力を評価するために設計されたLLM生成ルーブリックの最初の体系的なメタ評価を示す。著者らはルーブリックをチェックリスト形式へ再構成し、2つのバックボーンモデルにわたって4つの生成設定を評価した。

  • ルーブリックは、意味的類似性による内的評価と、正解ルーブリックとのスコア整合性による外的評価の両面から評価された。
  • 拡張された生成設定は下流の評価整合性を大幅に向上させ、最も強力な設定は人間ベースラインに近づいている。
  • 拡張による内的な利得は、外的な改善と比較してより控えめであることが指摘されている。
  • さらに詳細な分析により、LLM生成ルーブリックは過度に細粒度であり、高スコアに偏り、特定の論文ドメインへの適応性が低い傾向があることが示された。

これらの知見は、スケーラブルなベンチマーク構築におけるLLM使用の有用性と限界を浮き彫りにしており、拡張設定が整合性を高める一方で、重大なバイアスが依然として残っていることを示している。