github llama.cpp · 1時間前 · inference

llama.cpp b11382 が WebGPU fill/set_rows に f16 サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11382 をリリースし、WebGPU バックエンドの重要なアップデートを含んでいます。このリリースでは、WebGPU 実装内の `fill` および `set_rows` 操作に対して 16 ビット浮動小数点 (f16) サポートが追加されました。

ソースコードの変更は ggml-org/llama.cpp リポジトリのプルリクエスト #29897 で追跡されています。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon)、Windows (CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler のバイナリが提供されています。
リリースには標準的な llama.cpp UI バイナリも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hardware & chips Inference efficiency

原文を読む

github llama.cpp · 20時間前 · 10 回表示

llama.cpp b11370 が共有エキスパートを MMVQ に融合

llama.cpp プロジェクトはビルド b11370 をリリースしました。これには、ベクトル量子化 (MMVQ) を備えた MoE 混合アーキテクチャに共有エキスパートを融合するための CUDA オプティマイゼーションが含まれています。この変更はプルリクエスト #29184 の一部であり、stride_col_dst のバッファ null チェックと引数処理も処理しています。

github llama.cpp · 2日前 · 6 回表示

llama.cpp b11335 が sm70 を Turing MMVQ テーブルにルーティングし、Volta のパフォーマンスを向上

llama.cpp プロジェクトはバージョン b11335 をリリースし、Volta GPU 用の CUDA 最適化が含まれています。この更新により、sm_70 アーキテクチャが汎用設定にフォールスルーするのではなく、既存の Turing MMVQ nwarps テーブルにルーティングされます。

media Hugging Face Forums · 3日前 · 6 回表示

ThermaCompute AI がローカル GPU クラッシュログのトリアージ用 CrashLens をリリース

ThermaCompute AI は、ログファイルを分析してエンジニアが GPU クラッシュを調査するのを支援するために設計された無料のローカルツールである CrashLens をリリースしました。このツールはログ内の既知の障害パターンを特定し、調査のための具体的な次のステップを提案します。

github llama.cpp · 4日前 · 8 回表示

llama.cpp b11280 リリースはピンドッドホストバッファを使用してテンソルアールレデュース同期を削減

llama.cpp プロジェクトはバージョン b11280 をリリースしました。これには、ピンドッドホストバッファを使用してテンソルアールレデュース同期を削減する変更が含まれています。

media Hugging Face Forums · 4日前 · 5 回表示

AI Hardware FitはモデルのVRAM要件とGPU選択を結びつける

AI Hardware Fitの作成者は、ローカルモデルがGPUに収まるかどうかをユーザーが判断し、適切なハードウェアオプションを比較できるように設計された無料のオープンソースブラウザツールをリリースしました。このツールは、モデルファイル、量子化、コンテキスト長、ランタイムサポートといった異なる情報源から断片的な情報を組み立てる複雑さに対応しています。