Ujjal Bhattacharjee 提出了一种方法论框架,用于评估在固定的支出和截止日期约束下,结构化的挑战和修订是否能改进证据审查任务。该提案概述了一个包含四种条件的实验,比较了单一审查员、独立聚合、结构化审议以及使用 Jev 评估器的审议。

  • 该研究使用合成收入差异案例来评估所陈述的数字是否由提供的数据包支持。
  • 条件包括单一审查员、独立聚合、结构化审议以及带有 Jev 干预的审议。
  • 成功被定义为在预算和截止日期内交付一个可接受的、有证据支持的数据包,同时避免实质性的错误发现。
  • 该设计警告不要将更整洁的格式误认为是推理能力的提升,也不要将更便宜的运行误认为是每次成功的成本更低。

这项工作仍处于研究设计阶段,有待完成审议条件和干预记录。