研究人员提出了 Fork-think with confidence，这是一种通过在选择多个延续之前利用单一初始路径内的模型置信度来识别分叉点的方法，从而提升大型语言模型的推理能力。这种“先决策后思考”的范式与现有方法（先采样路径然后剪枝）形成对比。

  • 在三个模型和三个推理基准测试中，将令牌消耗降低高达30%，运行时间降低高达57%。
  • 无需重新训练、预热或离线训练，性能与并行思维相当或更优。
  • 证明在较晚位置进行采样能产生显著更好的生成结果。
  • 可与早期停止和加权投票等现有机制结合，达到 state-of-the-art 性能水平。

该方法通过避免“先思考后决策”方法固有的过度生成问题，确立了预定义分叉作为高效大语言模型推理的一个有前景的方向。