llama.cpp プロジェクトはビルド b10985 をリリースし、ハッシュベースのキャッシングを重みテンソンのみに制限するために RPC バックエンドを変更しました。この変更は、アクティベーションデータが不要にハッシュ化および保存され、ディスク使用量が過大になる問題を解決します。

  • `ggml_backend_rpc_buffer_set_tensor` および `ggml_backend_rpc_set_tensor_async` 関数は、`GGML_BACKEND_BUFFER_USAGE_WEIGHTS` でマークされたバッファーの転送のみをハッシュ化するようになりました。
  • SET_TENSOR メッセージ内の新しい `cache_flag` バイトは、キャッシュエントリを保存する必要がある時期を示し、以前のサーバー側の保留状態ロジックに取って代わります。

この最適化により、計算データがディスクスペースを満たすのを防ぎ、重みのみがハッシュパス経由でキャッシュされるようにします。