作者解决了由推理栈的 batch 不变性导致的非确定性 LLM 输出问题，即使在温度为零时也是如此。为了确保可靠的测试，他们建议重复运行以计算通过率，而不是依赖单一结果。

  • 使用重复运行来确定通过率，而不是依赖不稳定的单一结果。
  • 实现结构化输出来保持一致的格式。
  • 使用校准过的评判者进行评估。