すべての記事
github llama.cpp · 4日前

llama.cpp b9827 リリースで CUDA 2D 非同期コピーの最適化が追加

llama.cpp b9827 リリースは、ggml_cuda_cpy 関数に cudaMemcpy2DAsync の高速パスを追加することで、CUDA のパフォーマンス最適化を導入します。この変更により、テンソルが完全に連続していないものの各行が連続している場合の、同じ型・同じ形状のストライド付きコピーを高速化し、従来の要素ごとのスカラーコピーカーネルに代わります。

github llama.cpp · 4日前

llama.cpp b9825 リリース: Vulkan 修正とクロスプラットフォームバイナリ

llama.cpp プロジェクトはバージョン b9825 をリリースしました。このバージョンには、ゼロ入力を処理する際の Vulkan ステップ演算子の修正が含まれています。このアップデートにより、macOS、Linux、Windows、Android、openEuler 向けに、さまざまなハードウェアバックエンド用のビルド済みバイナリが提供されます。

github llama.cpp · 4日前

SYCLのノーマライゼーション修正を含むllama.cpp b9826リリース

llama.cppプロジェクトは、SYCLにおけるノーマライゼーション関数に関連するユニットテストケースの失敗を修正したb9826リリースを発表しました。このアップデートでは、複数のプラットフォームとハードウェアアクセラレータにわたってビルド済みバイナリとフレームワークが提供されます。

github llama.cpp · 5日前

llama.cpp b9821 リリース: CLI フラグとマルチプラットフォームバイナリ

llama.cpp プロジェクトはバージョン b9821 をリリースしました。このバージョンでは、--version、--licenses、--help フラグを呼び出すことができるコマンドラインインターフェースの更新が導入されました。本リリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまなハードウェアアクセラレータに対応した包括的なプリビルドバイナリセットが提供されます。

github llama.cpp · 5日前

llama.cpp b9820 リリース: CUDA の同期を削減し、新しいバイナリを追加

llama.cpp b9820 リリースは、分割計算中に同期回数を減らすことでパフォーマンスを改善しました。特に CUDA バックエンドを対象としています。このアップデートでは、CPU、GPU、および特殊なハードウェアアクセラレータ向けに、macOS、Linux、Windows、Android、openEuler 用のビルド済みバイナリも提供されます。

github llama.cpp · 5日前

llama.cpp b9817 リリース: OpenVINO 2026.2.1 の更新と演算子の改善

llama.cpp b9817 リリースでは、OpenVINO バックエンドがバージョン 2026.2.1 に更新され、リリースパッケージが自己完結型になりました。このアップデートには、OpenVINO バックエンド内のいくつかの演算子改善が含まれています。具体的には、ハードコードされた compute_op_type のセットの削除や、sink 入力に対応する softmax の有効化などです。

github llama.cpp · 5日前

llama.cpp b9813 リリースで Intel Xe-LPG Plus の Vulkan サポートが追加

llama.cpp b9813 リリースは、INTEL_XE1 アーキテクチャ列挙型の追加と coopmat1 の有効化により、Intel Xe-LPG Plus ハードウェアに対する Vulkan サポートを導入します。この更新では、以前のコードコメントへの対応、アーキテクチャ識別子の名前変更、および Windows ドライバーのチェックが含まれています。

github llama.cpp · 5日前

llama.cpp b9814 リリース、mi50 向け Vulkan 最適化

llama.cpp プロジェクトはバージョン b9814 をリリースしました。このバージョンには、AMD mi50 GPU に特化した Vulkan における `mul_mat_vecq` 演算の最適化が含まれています。このアップデートには、複数のオペレーティングシステムとハードウェアアーキテクチャにわたる包括的なプリビルドバイナリセットも同梱されています。

github llama.cpp · 5日前

llama.cpp b9804 リリース: Mamba2 の修正と新しいバイナリ

llama.cpp b9804 リリースは、Mamba2 アーキテクチャの修正を導入しました。これは、ハードコードされた 2 倍の展開係数と無効なパラメータチェックを削除し、任意の展開値をサポート可能にします。この変更により、`convert_hf_to_gguf.py` スクリプトが更新され、展開パラメータがデフォルト値 2 でオプションとなりました。