github llama.cpp · 1時間前 · inference

SYCL RMS_NORM フュージョンを備えた llama.cpp b10202 リリース

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10202 をリリースし、RMS_NORM と MUL 演算を融合する SYCL 最適化を導入しました。

このアップデートでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x)、Windows、Android 用のプリビルドバイナリが提供されます。CUDA 12/13、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16、HIP、OpenCL Adreno を含むさまざまなハードウェアバックエンドをサポートしています。

リリースには標準の llama.cpp UI も含まれており、macOS Apple Silicon 用の KleidiAI サポートは現在無効になっていることに注意してください。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10201 が長文脈における量子化KVのflash attentionを改善

llama.cppプロジェクトはバージョンb10201をリリースしました。これにはggml-webgpuバックエンドへの重要な改善が含まれています。このアップデートは、長文脈生成中に量子化されたキーバリューキャッシュを処理する際のflash attentionのパフォーマンスを向上させます。

github llama.cpp · 17時間前 · 1 回表示

llama.cpp b10198 が量子化concatのVulkanサポートを追加

llama.cppプロジェクトはビルドb10198をリリースし、Vulkanバックエンド内で量子化連結操作のサポートを導入しました。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10180 が SYCL ユーニオペレーションの連続高速パスと32ビットインデックス数学を追加

llama.cpp プロジェクトはビルド b10180 をリリースし、SYCL バックエンドのパフォーマンス最適化を導入しました。この更新では、連続した高速パスが実装され、要素ごとのインデックス計算が 32 ビット整数を使用した fastdiv に切り替えられました。

github llama.cpp · 4日前 · 3 回表示

llama.cpp b10155 が MiMo-V2.5 オーディオサポートを追加

llama.cpp プロジェクトはビルド b10155 をリリースし、MiMo-V2.5 オーディオ入力モデルのサポートを導入しました。このアップデートには MiMo オーディオ用の GGUF コンバーターが含まれ、RVQ ベースのオーディオモデルを処理するための必要な C++ バックエンドロジックが実装されています。

github llama.cpp · 4日前 · 3 回表示

llama.cpp b10150 が ggml のオフロードロジックを調整し、dsv4 グラフを修正

llama.cpp プロジェクトはビルド b10150 をリリースしました。これには、重みのバックエンドへの演算のオフロードに関する ggml ロジックの調整が含まれています。このアップデートでは、llama dsv4 グラフの修正も対応しています。