github llama.cpp · 8時間前 · inference

llama.cpp b11280 リリースはピンドッドホストバッファを使用してテンソルアールレデュース同期を削減

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11280 をリリースしました。これには、ピンドッドホストバッファを使用してテンソルアールレデュース同期を削減する変更が含まれています。

このアップデートは、macOS（Apple Silicon および Intel）、Linux（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon）、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）、Android、iOS など、複数のプラットフォームとバックエンドで利用可能です。

リリースには llama.cpp UI のバイナリも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hardware & chips Inference efficiency

原文を読む

media Hugging Face Forums · たった今 · 1 回表示ライブ

ThermaCompute AI がローカル GPU クラッシュログのトリアージ用 CrashLens をリリース

ThermaCompute AI は、ログファイルを分析してエンジニアが GPU クラッシュを調査するのを支援するために設計された無料のローカルツールである CrashLens をリリースしました。このツールはログ内の既知の障害パターンを特定し、調査のための具体的な次のステップを提案します。

media Hugging Face Forums · 19時間前 · 1 回表示

AI Hardware FitはモデルのVRAM要件とGPU選択を結びつける

AI Hardware Fitの作成者は、ローカルモデルがGPUに収まるかどうかをユーザーが判断し、適切なハードウェアオプションを比較できるように設計された無料のオープンソースブラウザツールをリリースしました。このツールは、モデルファイル、量子化、コンテキスト長、ランタイムサポートといった異なる情報源から断片的な情報を組み立てる複雑さに対応しています。

github llama.cpp · 4日前 · 8 回表示

llama.cpp b11203 が CUDA FWHT に F16 入力サポートを追加

llama.cpp プロジェクトはバージョン b11203 をリリースし、CUDA Fast Walsh-Hadamard Transform (FWHT) の変更を含み、F16 入力を接受するようになりました。以前、CUDA FWHT は F32 入力のみを受け付けていましたが、この更新によりソース型がテンプレートパラメータになり、カーネルは変換されたコピーを必要とせずに F16 ソースを直接読み取ります。

github llama.cpp · 5日前 · 21 回表示

llama.cpp が MTT S5000 の演算子失敗を修正し CUB パスを有効化

llama.cpp プロジェクトは、MUSA (MTT S5000) の演算子失敗およびビルド問題に対する修正をリリースしました。これは PH1 アーキテクチャを対象としています。このアップデートは、このハードウェアで誤った結果やタイムアウトを引き起こしていた重大なバグを解決します。

github llama.cpp · 6日前 · 22 回表示

llama.cpp b11160 が AMD RDNA3/4 向けに int8 coopmat1 matmul と IQ4_XS サポートを追加

llama.cpp プロジェクトはバージョン b11160 をリリースし、AMD RDNA3 および RDNA4 アーキテクチャの Vulkan 向けに int8 協調行列 (coopmat1) の実装を導入しました。このアップデートには、パフォーマンスを向上させるために coopmat の値を直接プローブする専用シェーダーが含まれています。