llama-serverのバグにより、プロセス再起動後の最初のクエリで再水化されたKVキャッシュが破棄され、フルプロンプトの再プリフィルが行われるため、保存/復元機能が無効になります。根本原因は、チェックポイントメタデータがディスクに永続化されず、サーバーが有効なキャッシュ位置にロールバックできなかったことです。

  • 修正により、スロットの保存時にチェックポイントメタデータをバージョン付きサイドカーファイルに永続化し、復元時にそれを読み込みます。
  • これにより、サーバーは再計算ではなく、デルタクエリに対してキャッシュされた状態を再利用できるようになります。
  • ベンチマークでは、デルタプリフィルで約720倍の高速化、フル再プリフィルと比較してエンドツーエンドの再開で約167倍の高速化が示されています。
  • このパッチは、llama-cpp-turboquantフォークのPR #206として利用可能です。

この変更により、再起動後にキャッシュされた状態が実際に利用されるようにすることで、低予算ハードウェアでのロングコンテキスト作業の意図された機能が回復します。