基准测试比较 RTX 3090 上 Qwen3.6-27B 的投机解码引擎

用户在单张 RTX 3090 上使用 Qwen3.6-27B 模型对五个 llama.cpp 分支和变体进行了基准测试，以评估投机解码性能。

• ik_llama 配合 ubergarm-tuned MTP 实现了最高的叙事速度 63.9 TPS，而其 ngram+MTP 变体在代码生成中达到了 87.8 TPS。
• beellama 使用 DFlash 和独立的草稿模型记录了最高的代码吞吐量 96.8 TPS，但 TTFT 高达 504ms。
• Mainline llama.cpp 提供了最低的 TTFT（288ms），并在不同上下文长度下保持了稳定的速度，而分支版本则显示出显著的降级。
• Spiritbuun 表现出极强的稳定性，上下文降级仅为 -9%，而 LUCEBOX 在所有指标上的表现都很差。

结果突出了在本地推理中选择引擎时，原始吞吐量、首字延迟（TTFT）和上下文稳定性之间的权衡。