github llama.cpp · 5日前 · inference

llama.cpp b11203 が CUDA FWHT に F16 入力サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11203 をリリースし、CUDA Fast Walsh-Hadamard Transform (FWHT) の変更を含み、F16 入力を接受するようになりました。以前、CUDA FWHT は F32 入力のみを受け付けていましたが、この更新によりソース型がテンプレートパラメータになり、カーネルは変換されたコピーを必要とせずに F16 ソースを直接読み取ります。

実装により、`supports_op` とディスパッチ呼び出しが連続性と形状の条件をチェックする単一の述語を共有し、不一致がアサート失敗を引き起こす可能性のあるギャップが閉じられました。A10 GPU での test-backend-ops は、既存の F32 ケース alongside 6 つの新しい F16 Hadamard ケースを含むすべての 1297 の MUL_MAT テストに合格しました。

このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL、および Snapdragon バックエンド向けに macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Hardware & chips Inference efficiency

原文を読む

関連記事

media Hugging Face Forums · 1日前 · 1 回表示

ThermaCompute AI がローカル GPU クラッシュログのトリアージ用 CrashLens をリリース

ThermaCompute AI は、ログファイルを分析してエンジニアが GPU クラッシュを調査するのを支援するために設計された無料のローカルツールである CrashLens をリリースしました。このツールはログ内の既知の障害パターンを特定し、調査のための具体的な次のステップを提案します。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11280 リリースはピンドッドホストバッファを使用してテンソルアールレデュース同期を削減

llama.cpp プロジェクトはバージョン b11280 をリリースしました。これには、ピンドッドホストバッファを使用してテンソルアールレデュース同期を削減する変更が含まれています。

media Hugging Face Forums · 2日前 · 1 回表示

AI Hardware FitはモデルのVRAM要件とGPU選択を結びつける

AI Hardware Fitの作成者は、ローカルモデルがGPUに収まるかどうかをユーザーが判断し、適切なハードウェアオプションを比較できるように設計された無料のオープンソースブラウザツールをリリースしました。このツールは、モデルファイル、量子化、コンテキスト長、ランタイムサポートといった異なる情報源から断片的な情報を組み立てる複雑さに対応しています。

github llama.cpp · 6日前 · 22 回表示

llama.cpp が MTT S5000 の演算子失敗を修正し CUB パスを有効化

llama.cpp プロジェクトは、MUSA (MTT S5000) の演算子失敗およびビルド問題に対する修正をリリースしました。これは PH1 アーキテクチャを対象としています。このアップデートは、このハードウェアで誤った結果やタイムアウトを引き起こしていた重大なバグを解決します。

github llama.cpp · 7日前 · 31 回表示

llama.cpp b11160 が AMD RDNA3/4 向けに int8 coopmat1 matmul と IQ4_XS サポートを追加

llama.cpp プロジェクトはバージョン b11160 をリリースし、AMD RDNA3 および RDNA4 アーキテクチャの Vulkan 向けに int8 協調行列 (coopmat1) の実装を導入しました。このアップデートには、パフォーマンスを向上させるために coopmat の値を直接プローブする専用シェーダーが含まれています。