24 GBのラップトップ上で動作する展開可能な4Bジェネレーターを対象とした調査により、オンデバイスディープリサーチタスクにおいてその引用がどのようにして忠実かつ包括的になるかが解明された。この研究は、引用された主張の忠実度と信頼できる網羅性を分離し、ソースの曝露長とソースの品質がこれらの指標に与える影響を分析した。

  • 1ソースあたりの曝露を400文字から1500文字に増やすと、取得されたソースにおける忠実度は0.45から0.58に、ゴールドソースでは0.37から0.58に向上し、忠実度がソースの正しさではなく曝露によって制約されていることが示された。
  • 取得されたソースにおける信頼できる網羅性は、検索率が0.40付近に保たれているため、どのソースが引用されるかを制限しており、曝露に関係なくほぼ0.22のまま維持される。
  • この追加の曝露には、約235出力トークンのコストがかかる。

著者らは、実用的なアプローチとして、まず安価なレバーである1ソースあたりの曝露を引き上げ、その後、網羅性を改善するための唯一の残された要因として検索再帰率を扱うべきだと結論づけている。