本研究提出了首个针对用于评估论文复现任务中开放式输出的LLM生成量规的系统性元评估。作者将量规重构为清单格式，并在两个骨干模型上评估了四种生成设置。

  • 通过语义相似度内在评估量规，并通过与真实量规的分数对齐进行外在评估。
  • 增强型生成设置显著提高了下游评估的对齐度，最强的设置接近人类基线。
  • 注意到来自增强的内在收益相较于外在改进更为温和。
  • 进一步分析显示，LLM生成的量规往往过于细致、偏向高分，且对特定论文领域的适应性较差。

研究结果突出了使用LLM进行可扩展基准构建的优势与局限性，表明虽然增强型设置提高了对齐度，但显著的偏差仍然存在。