Spiritbuunはllama.cppのフォークに可変ビットレート（VBR）機能を追加し、コンテキスト長が増加するにつれてKVキャッシュの量子化ティアを動的に劣化させることができるようになりました。これにより、ユーザーは最小精度の下限を設定しつつ、利用可能なVRAM内に収まるようにティアを自動的に調整できます。

  • VBRは起動時に残りのメモリからKV VRAM予算を導出し、コンテキストが埋まるにつれてティアをリアルタイムで劣化させます。
  • Qwen3.6-35B-A3Bを搭載したRTX 3060でのベンチマークでは、VBRは固定turbo4と比較してTTFTが約2倍高速（93ms対178ms）となり、VRAM使用量も削減（10.2 GiB対11 GiB）されました。
  • VBRを使用した場合のデコードTPSは約4%低速（50.85対52.83）ですが、コンテキスト予算は自動的に216kトークンに適合しました。

この機能により、ユーザーはコーデックやコンテキスト長の手動設定なしで動的なコンテキストサポートを提供され、限られたVRAMでのローカル推論を強化できます。