あるユーザーが単一のRTX 3090上でQwen3.6-27Bモデルを用いて5つのllama.cppフォークとバリアントをベンチマークし、speculative decodingのパフォーマンスを評価した。

  • ubergarmチューニングされたMTPを採用したik_llamaは63.9 TPSの最高推論速度を記録し、そのngram+MTPバリアントはコード生成で87.8 TPSに達した。
  • 独立したdraftモデルを用いたDFlashを実装したbeellamaは96.8 TPSの最高コードスループットを記録したが、504msという高いTTFTに悩まされた。
  • Mainline llama.cppは288msの最低TTFTを提供し、フォークが顕著な劣化を示したのに対し、コンテキスト長全体で一貫した速度を維持した。
  • Spiritbuunは-9%のコンテキスト劣化のみで強い一貫性を示したが、LUCEBOXは全指標で貧弱なパフォーマンスだった。

この結果は、ローカル推論用のエンジンを選択する際に、純粋なスループット、time-to-first-token、およびコンテキスト安定性の間のトレードオフを浮き彫りにしている。