github llama.cpp · たった今 · inference

llama.cpp b10752 が xcframework の metallib ビルドサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10752 をリリースし、iOS XCFramework 用の metallib ビルドサポートを導入しました。このアップデートにより、開発者は Metal バックエンドを使用してライブラリを iOS アプリケーションに統合できるようになります。

macOS Apple Silicon (arm64) のバイナリが利用可能です。
macOS Intel (x64) のバイナリが提供されています。
Ubuntu ビルドには CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL のバリエーションが含まれます。
Windows リリースは CPU、Vulkan、OpenCL Adreno、CUDA 12/13、OpenVINO、SYCL、ROCm 7.14 をサポートしています。
Android arm64 (CPU) のバイナリが含まれています。

このリリースでは、幅広いプラットフォームとハードウェアアクセラレータ用のプリコンパイル済みバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10751がCUDA向けMoE加重エクスパート集約を融合

llama.cppプロジェクトはビルドb10751をリリースし、CUDAにおけるMoE（Mixture of Experts）の加重エクスパート集約用の融合カーネルを導入しました。この最適化は、2つの物理カーネルを実行していた以前のベースラインを置き換え、中間のグローバルメモリトラフィックを削減するために単一の加重集約カーネルを使用します。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10750がKVキャッシュのn-gramルックアップを最適化し、スループットを4.9%向上

llama.cppプロジェクトはビルドb10750をリリースし、シーケンス位置のインデックス付けとn-gram履歴のルックアップを改善するためにキーバリューセルの管理をリファクタリングしました。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10742 が A18 Pro 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10742 をリリースしました。これには、MacBook Neo に搭載されている Apple A18 Pro チップ用に特別に高速ベクトル (fa-vec) 調整を追加する新機能が含まれています。

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10738 が SYCL のホストピンメモリ制限を追加

llama.cpp プロジェクトはバージョン b10738 をリリースし、CPU、GPU、および各種アクセラレータバックエンド向けに macOS、Linux、Windows、Android、openEuler 用のバイナリを提供しました。

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10739 が M2 Max 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10739 をリリースしました。これには Apple の M2 Max ハードウェア向けの特定の性能最適化が含まれています。このアップデートでは、M2 Max の 30 個の GPU コアに合わせた高速注意ベクトル (fa-vec) 調整が導入されました。