作者提出了 FinResearchBench II，这是一个可扩展的流水线，用于为金融深度研究代理生成高质量的评估评分标准，而无需在最终循环中要求人类专家。该基准测试由 104 个真实用户查询构建，并从模型生成的报告中自动合成 14,450 个候选评分标准。
- 基于 LLM 的评估在共同一致的项目上显示出与人类专家 98.67% 的标签级一致性，验证了其在大规模筛选中的使用价值。
- 共识派生的黄金评分标准是使用严格的一致性过滤器和可区分性过滤器导出的，最终得到 2,600 个评分标准。
- 该基准测试在 10 个深度研究系统之间产生了明显不同的排名，项目级通过率从 58.58% 到 22.23% 不等。
这种方法将人类专家执行从评分标准的生成和评估中移除，使其自然地适用于基准测试评估、自动系统比较以及未来基于评估的系统改进研究。