研究者らは、Fork-think with confidenceを提案した。この手法は、単一のシードパス内でモデルの信頼度を用いて分岐点を特定し、複数の継続をサンプリングする前に推論を改善するものである。この「まず決定し、次に思考する」パラダイムは、既存の方法がまずパスをサンプリングしてからそれらを剪定するというアプローチとは対照的である。

  • 3つのモデルと3つの推論ベンチマークにわたって、トークン消費を最大30%、実行時間を最大57%削減する。
  • 再学習、ウォームアップ、またはオフライン学習を必要とせずに、並列思考と比較可能な、あるいはそれ以上の性能を発揮する。
  • より後の位置でのサンプリングが、大幅に優れた生成結果をもたらすことを実証した。
  • 早期終了や重み付き投票などの既存のメカニズムと組み合わせることで、最先端の性能に追いつく。

このアプローチは、think-first-then-decide方法に内在する過剰生成を回避することで、効率的なLLM推論に向けた有望な方向性として、事前に決定された分岐を確立した。