llama.cpp b9840 リリースは、Pro バリアントの特定の処理を含む DeepSeek V4 モデルの変換サポートを導入しました。このアップデートでは、新しいアーキテクチャをライブラリに統合し、各種内部最適化とバグ修正を行いました。
- dsv4 変換、llm_graph_input_dsv4、およびセーブ・ロード状態の機能を追加。
- 必要なパディングとグラフ再利用メカニズムとともに Flash Attention (FA) を有効化。
- マルチシーケンス処理と部分的なチェックポイント機能をサポート。
- CPU、GPU、ROCm、SYCL、OpenVINO などの専用アクセラレータ向けに、macOS、Linux、Android、Windows、openEuler のバイナリをリリース。
このリリースにより、ユーザーは llama.cpp を使用して、幅広いハードウェア構成で DeepSeek V4 モデルをローカルで実行できるようになります。