github llama.cpp · 5日前 · inference

llama.cpp が OpenCL 向けに A8 Q8_0 non-MoE dp4a バイナリカーネルを追加

翻訳元 English → 日本語

llama.cpp プロジェクトは、OpenCL 向けの A8 Q8_0 non-MoE dp4a バイナリカーネルを追加しました。

この変更は ggml-org/llama.cpp リポジトリでプルリクエスト #29439 として追跡されています。
OpenCL バックエンド内で dp4a 命令セットを使用して、特定の量子化フォーマット (A8 Q8_0) のサポートを導入しています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

llama.cpp b11302 で ThreadSanitizer のスパースインデクサにおけるデータ競合を修正

llama.cpp プロジェクトは、CIパイプラインでThreadSanitizerによって特定された重大な並行性問題を解決するビルド b11302 をリリースしました。この更新では、複数のCPUスレッドが同じメモリ要素に誤って書き込んでいたスパースアテンションメカニズム内のデータ競合を解消しました。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11298 が変換と特徴抽出のための dflash サポートを追加

llama.cpp プロジェクトはビルド b11298 をリリースし、dflash フォーマットのサポートを導入しました。このアップデートにより、モデルをこのフォーマットに変換する機能と、その後の特徴抽出機能が有効になります。

media Hugging Face Forums · 1時間前 · 1 回表示ライブ

ThermaCompute AI がローカル GPU クラッシュログのトリアージ用 CrashLens をリリース

ThermaCompute AI は、ログファイルを分析してエンジニアが GPU クラッシュを調査するのを支援するために設計された無料のローカルツールである CrashLens をリリースしました。このツールはログ内の既知の障害パターンを特定し、調査のための具体的な次のステップを提案します。

github llama.cpp · 8時間前 · 2 回表示

llama.cpp b11284 が量子化された重みビューの OpenVINO GET_ROWS を修正

llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b11280 リリースはピンドッドホストバッファを使用してテンソルアールレデュース同期を削減

llama.cpp プロジェクトはバージョン b11280 をリリースしました。これには、ピンドッドホストバッファを使用してテンソルアールレデュース同期を削減する変更が含まれています。