Исследование оценивает развертываемый генератор на 4B параметров, работающий на ноутбуке с 24 ГБ памяти, чтобы определить, что делает его цитаты достоверными и полными в задачах глубокого локального исследования. Исследование разделяет достоверность приведенных утверждений и надежный охват, анализируя, как длина экспозиции источника и качество источника влияют на эти метрики.

  • Увеличение экспозиции на источник с 400 до 1500 символов повышает достоверность с 0.45 до 0.58 на найденных источниках и с 0.37 до 0.58 на эталонных источниках, что показывает, что достоверность ограничена экспозицией, а не правильностью источника.
  • Надежный охват остается около 0.22 на найденных источниках независимо от экспозиции, поскольку полнота (recall) поддерживается на уровне около 0.40, что указывает на то, что качество поиска ограничивает выбор цитируемых источников.
  • Дополнительная экспозиция обходится примерно в 235 выходных токенов.

Авторы приходят к выводу, что практический подход заключается в том, чтобы сначала повысить экспозицию на источник как дешевый рычаг, а затем рассматривать полноту поиска как единственный оставшийся фактор для улучшения охвата.