一项研究评估了在配备24 GB内存的笔记本电脑上运行的可部署4B生成器,以确定在端侧深度研究任务中,其引用的哪些特性使其既忠实又全面。该研究将引用声明的忠实度与可靠覆盖率分开,分析了源曝光长度和源质量如何影响这些指标。

  • 将每个源的曝光量从400增加到1500个字符,使检索到的源上的忠实度从0.45提升到0.58,黄金标准源上的忠实度从0.37提升到0.58,这表明忠实度受曝光量限制,而非源的正确性。
  • 无论曝光量如何,检索到的源上的可靠覆盖率保持在0.22左右,因为召回率(recall)保持在0.40左右,这表明检索质量限制了哪些源被引用。
  • 额外的曝光量成本约为235个输出token。

作者得出结论,实用的方法是首先提高每个源的曝光量作为低成本杠杆,然后将检索召回率视为改善覆盖率的唯一剩余因素。