あるユーザーは、Ornith-1.0-35B モデルをドラフトモデルとして Qwen3.6-35B-A3B-DFlash と組み合わせて llama-server を使用することで、トークン生成速度が 30〜40% 向上したと報告しています。

  • 構成では、`--spec-type draft-dflash` フラグを使用して Ornith-1.0-35B-GGUF (Q8_0) を推測ドラフトモデルとして使用します。
  • JavaScript コードと Wikipedia テキストの混合された 50k コンテキストでのテストにより、トークン受容率は 80% となりました。
  • このセットアップでは、コンテキスト長、温度、ドラフトステップに特定のパラメータを設定して llama-server を実行します。

この組み合わせは生成速度を向上させますが、プロンプト処理時間が大幅に遅くなるという代償があり、万能な解決策ではありません。