github llama.cpp · 2日前 · inference

llama.cpp b10688 が M2 用の fa-vec 調整を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10688 をリリースしました。これには、M2 アーキテクチャ用の高速ベクトル (fa-vec) 調整を追加するプルリクエストが含まれています。

このアップデートにより、複数のプラットフォームとハードウェア構成でバイナリとフレームワークが提供されます。macOS ビルドは Apple Silicon と Intel 向けに利用可能で、iOS ユーザーは XCFramework にアクセスできます。Linux サポートには、x64、arm64、s390x アーキテクチャ向けの CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL バリアントが含まれます。Windows リリースには、x64 と arm64 の両方に対応した CPU、OpenCL Adreno、Vulkan、ROCm 7.14、OpenVINO、SYCL、CUDA 12/13 のサポートが含まれます。Android arm64 のバイナリも提供されています。

このリリースにより、ユーザーは最新のビルドアーティファクトを使用して、幅広いデバイスやアクセラレータで llama.cpp を実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

github llama.cpp · 7時間前 · 1 回表示

llama.cpp b10714 が Strix Halo 向け Vulkan mat-vec 行をチューニング

llama.cpp プロジェクトは、AMD Strix Halo ハードウェアを対象とした Vulkan バックエンドの特定の最適化を含むビルド b10714 をリリースしました。このアップデートは、バッチ推論中のパフォーマンスを向上させるために行列-ベクトル乗算の行数を調整します。

github llama.cpp · 13時間前 · 3 回表示

llama.cpp b10706 が SWIGLU_CLAMP と Vulkan シェーダーのサポートを追加

llama.cpp プロジェクトは、ggml バックエンドに新しい機能をもたらすビルド b10706 をリリースしました。このアップデートには、SWIGLU_CLAMP の追加と新しい Vulkan シェーダーの実装が含まれています。