著者は、温度ゼロでも推論スタックのバッチ不変性に起因する非決定性LLM出力の問題に対処しています。信頼性の高いテストのため、単一の結果に依存するのではなく、実行を繰り返して合格率を算出することを推奨しています。

  • 不安定な単一結果ではなく、実行を繰り返して合格率を決定してください。
  • 一貫したフォーマットのために構造化出力を実装してください。
  • 評価には較正されたジャッジを採用してください。