深層研究システムにおける引用の検証に最先端モデルが必要かどうかを評価した研究において、より安価な判定モデルがゴールドラベルに対して競争力を持つことが判明した。
- 研究者は3つのモデルファミリから8つの市販LLM判定器を、1,248件のルーブリック判断からなる敵対的長文ベンチマークで評価した。
- GPT-5-miniはソース関連性のパスクラスF1で0.908という最良のスコアを記録し、事実的支持スコアはモデル間で統計的に有意差がなかった。
- スカラーF1スコアは同等であったにもかかわらず、判定器間ではパスレートドリフトや偽陽性/偽陰性率に大きな違いが見られた。
これらの結果は、引用ルーブリックを報酬信号として使用するには判定器のキャリブレーションが必須であることを示しているが、このキャリブレーションには最も高価なモデルは必要ない。