github llama.cpp · 1時間前 · inference

llama.cpp b11370 が共有エキスパートを MMVQ に融合

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11370 をリリースしました。これには、ベクトル量子化 (MMVQ) を備えた MoE 混合アーキテクチャに共有エキスパートを融合するための CUDA オプティマイゼーションが含まれています。この変更はプルリクエスト #29184 の一部であり、stride_col_dst のバッファ null チェックと引数処理も処理しています。

CUDA バックエンド向けに MMVQ に共有エキスパートを融合します。
安定性を向上させるためにバッファの null チェックを追加します。
stride_col_dst を融合引数に移動します。

このリリースでは、CPU、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon などのさまざまなハードウェアアクセラレータに対応する、macOS、Linux、Windows、Android、iOS 用の更新されたバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Hardware & chips Inference efficiency

原文を読む

関連記事

github llama.cpp · 1日前 · 2 回表示

llama.cpp b11335 が sm70 を Turing MMVQ テーブルにルーティングし、Volta のパフォーマンスを向上

llama.cpp プロジェクトはバージョン b11335 をリリースし、Volta GPU 用の CUDA 最適化が含まれています。この更新により、sm_70 アーキテクチャが汎用設定にフォールスルーするのではなく、既存の Turing MMVQ nwarps テーブルにルーティングされます。

media Hugging Face Forums · 2日前 · 2 回表示

ThermaCompute AI がローカル GPU クラッシュログのトリアージ用 CrashLens をリリース

ThermaCompute AI は、ログファイルを分析してエンジニアが GPU クラッシュを調査するのを支援するために設計された無料のローカルツールである CrashLens をリリースしました。このツールはログ内の既知の障害パターンを特定し、調査のための具体的な次のステップを提案します。

github llama.cpp · 3日前 · 4 回表示

llama.cpp b11280 リリースはピンドッドホストバッファを使用してテンソルアールレデュース同期を削減

llama.cpp プロジェクトはバージョン b11280 をリリースしました。これには、ピンドッドホストバッファを使用してテンソルアールレデュース同期を削減する変更が含まれています。

media Hugging Face Forums · 3日前 · 3 回表示

AI Hardware FitはモデルのVRAM要件とGPU選択を結びつける

AI Hardware Fitの作成者は、ローカルモデルがGPUに収まるかどうかをユーザーが判断し、適切なハードウェアオプションを比較できるように設計された無料のオープンソースブラウザツールをリリースしました。このツールは、モデルファイル、量子化、コンテキスト長、ランタイムサポートといった異なる情報源から断片的な情報を組み立てる複雑さに対応しています。

github llama.cpp · 6日前 · 10 回表示

llama.cpp b11203 が CUDA FWHT に F16 入力サポートを追加

llama.cpp プロジェクトはバージョン b11203 をリリースし、CUDA Fast Walsh-Hadamard Transform (FWHT) の変更を含み、F16 入力を接受するようになりました。以前、CUDA FWHT は F32 入力のみを受け付けていましたが、この更新によりソース型がテンプレートパラメータになり、カーネルは変換されたコピーを必要とせずに F16 ソースを直接読み取ります。