github llama.cpp · たった今 · inference

llama.cpp b10889 リリースはインデクサーの V キャッシュ割り当てを回避

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10889 をリリースしました。これには、インデクサーで使用されないため V キャッシュの割り当てを回避するメモリ最適化が含まれています。

このアップデートでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x、CPU、Vulkan、ROCm 10.0、OpenVINO、SYCL バックエンド対応)、Android (arm64)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0)、openEuler 用のプリビルドバイナリが提供されます。

リリースには llama.cpp UI も含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10888 が GPU プロファイラー用の Vulkan コマンドバッファデバッグラベルを追加

llama.cppプロジェクトは、VulkanバックエンドでGPUプロファイラー用のコマンドバッファデバッグラベルを追加する新機能を含むビルドb10888をリリースしました。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10886 が s390x 向けに Q1_0 ベクトル組み込みサポートを追加

llama.cpp プロジェクトはビルド b10886 をリリースし、s390x アーキテクチャ向けの Q1_0 ベクトル組み込みサポートを導入しました。このアップデートには `ggml_vec_dot_q1_0_q8_0` の実装が含まれ、新しい機能を反映するためにドキュメントが更新されました。

github llama.cpp · 17時間前 · 1 回表示

llama.cpp b10883 が Vulkan 行列乗算を修正し、Ampere の最適化を復元

llama.cpp プロジェクトはビルド b10883 をリリースしました。これには Vulkan バックエンドの重要な更新が含まれています。主な変更点は、シェーダーのコンパイルとパフォーマンスを向上させるために、行列-行列乗算 A 型演算に仕様定数を使用することです。

media r/LocalLLaMA · 20時間前 · 1 回表示

gtrg55がINT4量子化されたNVIDIA Cosmos3 64Bをローカル画像生成用にリリース

あるユーザーが、INT4量子化を使用してNVIDIAの640億パラメータCosmos3モデルをローカルで実行するためのコードと重みを公開しました。この実装は、Apple Silicon上でのMLX経由およびCUDA上で、テキストから画像への変換と画像から動画への変換のタスクをサポートしています。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b10872 がテンプレート検索におけるJinjaのnull左オペランドを修正

llama.cppプロジェクトはビルドb10872をリリースし、Jinjaテンプレートの処理に関する修正が含まれています。このアップデートは、オプション変数をnoneにデフォルト設定し、マップ内でのメンバーシップをテストするテンプレートが以前エラーを引き起こしていた問題を解決します。