llama.cpp b9840 リリースは、Pro バリアントの特定の処理を含む DeepSeek V4 モデルの変換サポートを導入しました。このアップデートでは、新しいアーキテクチャをライブラリに統合し、各種内部最適化とバグ修正を行いました。

  • dsv4 変換、llm_graph_input_dsv4、およびセーブ・ロード状態の機能を追加。
  • 必要なパディングとグラフ再利用メカニズムとともに Flash Attention (FA) を有効化。
  • マルチシーケンス処理と部分的なチェックポイント機能をサポート。
  • CPU、GPU、ROCm、SYCL、OpenVINO などの専用アクセラレータ向けに、macOS、Linux、Android、Windows、openEuler のバイナリをリリース。

このリリースにより、ユーザーは llama.cpp を使用して、幅広いハードウェア構成で DeepSeek V4 モデルをローカルで実行できるようになります。