あるユーザーが、Strix Halo システム上で Qwen 3.5 122B などの大規模モデルを実行する際の長いプリフィル時間を軽減するために、llama-server における KV キャッシュ設定の最適化について支援を求めています。

  • ユーザーは VRAM とコンテキストウィンドウを管理するために --cache-ram 16384、--ctx-checkpoints 72、および --checkpoint-min-step 4096 を構成しました。
  • 100k コンテキストでのフルキャッシュミスにより、プリフィル時間が約 10〜20 分になり、これは極めて問題のある状態と見なされています。
  • ユーザープロンプトの後にチェックポイントが欠落することがあり、特に Crush coding agent や Codex などのエージェントワークフローで顕著です。
  • 古いチェックポイントは時間の経過とともに消失し、アクティブなコンテキストチェックポイントが数個だけ残り、より大きなミス発生時に再処理を引き起こしています。
  • ユーザーは K/V 量子化（例：q8）を検討しており、これにより利用可能なチェックポイント数を倍増させる可能性があると見ていますが、すでに q4 モデルに対して品質に与える影響について疑問を抱いています。

ユーザーは、コミュニティからのフィードバックを期待しており、キャッシュ設定の微調整とチェックポイント欠落問題の解決を通じて、高速なエージェント反復処理中のパフォーマンス向上を目指しています。