すべての記事
github llama.cpp · 3日前

llama.cpp b9832 リリースで --dump-prog デバッグフラグが追加

llama.cpp プロジェクトはバージョン b9832 をリリースし、Jinja テンプレートエンジン用の新しい `--dump-prog` コマンドラインオプションを導入してデバッグを支援しました。このアップデートには、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU アーキテクチャに対応した事前ビルド済みバイナリも含まれています。

github llama.cpp · 3日前

llama.cpp b9830 リリースで --offline フラグが追加され、メモリバグが修正される

llama.cpp b9830 リリースでは、llama download コマンドで --offline フラグを使用できるようになり、ネットワークアクセスなしでキャッシュされたモデルを検証できます。このアップデートはまた、first_path が参照によって誤ってキャプチャされていた URL タスクの on_done コールバックにおける潜在的な use-after-free 脆弱性も修正します。

github llama.cpp · 4日前

llama.cpp b9827 リリースで CUDA 2D 非同期コピーの最適化が追加

llama.cpp b9827 リリースは、ggml_cuda_cpy 関数に cudaMemcpy2DAsync の高速パスを追加することで、CUDA のパフォーマンス最適化を導入します。この変更により、テンソルが完全に連続していないものの各行が連続している場合の、同じ型・同じ形状のストライド付きコピーを高速化し、従来の要素ごとのスカラーコピーカーネルに代わります。

github llama.cpp · 4日前

llama.cpp b9825 リリース: Vulkan 修正とクロスプラットフォームバイナリ

llama.cpp プロジェクトはバージョン b9825 をリリースしました。このバージョンには、ゼロ入力を処理する際の Vulkan ステップ演算子の修正が含まれています。このアップデートにより、macOS、Linux、Windows、Android、openEuler 向けに、さまざまなハードウェアバックエンド用のビルド済みバイナリが提供されます。

github llama.cpp · 4日前

SYCLのノーマライゼーション修正を含むllama.cpp b9826リリース

llama.cppプロジェクトは、SYCLにおけるノーマライゼーション関数に関連するユニットテストケースの失敗を修正したb9826リリースを発表しました。このアップデートでは、複数のプラットフォームとハードウェアアクセラレータにわたってビルド済みバイナリとフレームワークが提供されます。

github llama.cpp · 5日前

llama.cpp b9821 リリース: CLI フラグとマルチプラットフォームバイナリ

llama.cpp プロジェクトはバージョン b9821 をリリースしました。このバージョンでは、--version、--licenses、--help フラグを呼び出すことができるコマンドラインインターフェースの更新が導入されました。本リリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまなハードウェアアクセラレータに対応した包括的なプリビルドバイナリセットが提供されます。

github llama.cpp · 5日前

llama.cpp b9820 リリース: CUDA の同期を削減し、新しいバイナリを追加

llama.cpp b9820 リリースは、分割計算中に同期回数を減らすことでパフォーマンスを改善しました。特に CUDA バックエンドを対象としています。このアップデートでは、CPU、GPU、および特殊なハードウェアアクセラレータ向けに、macOS、Linux、Windows、Android、openEuler 用のビルド済みバイナリも提供されます。

github llama.cpp · 5日前

llama.cpp b9817 リリース: OpenVINO 2026.2.1 の更新と演算子の改善

llama.cpp b9817 リリースでは、OpenVINO バックエンドがバージョン 2026.2.1 に更新され、リリースパッケージが自己完結型になりました。このアップデートには、OpenVINO バックエンド内のいくつかの演算子改善が含まれています。具体的には、ハードコードされた compute_op_type のセットの削除や、sink 入力に対応する softmax の有効化などです。

github llama.cpp · 5日前

llama.cpp b9813 リリースで Intel Xe-LPG Plus の Vulkan サポートが追加

llama.cpp b9813 リリースは、INTEL_XE1 アーキテクチャ列挙型の追加と coopmat1 の有効化により、Intel Xe-LPG Plus ハードウェアに対する Vulkan サポートを導入します。この更新では、以前のコードコメントへの対応、アーキテクチャ識別子の名前変更、および Windows ドライバーのチェックが含まれています。

github llama.cpp · 5日前

llama.cpp b9814 リリース、mi50 向け Vulkan 最適化

llama.cpp プロジェクトはバージョン b9814 をリリースしました。このバージョンには、AMD mi50 GPU に特化した Vulkan における `mul_mat_vecq` 演算の最適化が含まれています。このアップデートには、複数のオペレーティングシステムとハードウェアアーキテクチャにわたる包括的なプリビルドバイナリセットも同梱されています。