github llama.cpp · たった今 · inference

llama.cpp b10665 が Nemotron3.5 の DSpark サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10665 をリリースし、Nemotron3.5 モデルの DSpark サポートを導入しました。

src/models/dflash.cpp の更新を通じて Nemotron3.5 用の DSpark サポートを追加しました。
macOS (Apple Silicon および Intel)、Linux (Ubuntu with CPU, Vulkan, ROCm, OpenVINO, SYCL)、Android、Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm)、および openEuler 用のバイナリを提供します。

このリリースにより、ユーザーは幅広いハードウェアアーキテクチャとオペレーティングシステムで DSpark フォーマットを使用して Nemotron3.5 モデルを実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 3時間前 · 2 回表示

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 10時間前 · 4 回表示

llama.cpp b10653でモデル読み込みにTENSOR_READ_LAZYが追加

llama.cppプロジェクトはビルドb10653をリリースし、モデルローダーにTENSOR_READ_LAZY機能を導入しました。この変更には、TENSOR_GET_ROW_LAZY関数の追加と対応する--tensor-read-lazyコマンドラインフラグが含まれます。

github llama.cpp · 10時間前 · 3 回表示

llama.cpp b10655 が Vulkan 上の Deepseek V4 演算に対して LIGHTNING_INDEXER サポートを追加

llama.cpp プロジェクトはビルド b10655 をリリースし、Deepseek V4 演算を有効にするために Vulkan バックエンド内で LIGHTNING_INDEXER 演算のサポートを導入しました。

github llama.cpp · 1日前 · 6 回表示

llama.cpp b10639 が Vulkan の warptile ワープサイズ仮定を修正

llama.cpp プロジェクトはビルド b10639 をリリースしました。これには、warptiles が以前にワープサイズが 64 以下であると想定していた Vulkan バックエンドの修正が含まれています。この変更により、より大きなワープに関連する問題を回避するためにワープサイズが制限されました。

media Hugging Face Forums · 2日前 · 4 回表示

EdgeFirstが20のエッジプラットフォームでYOLOモデルを検証するRustパイプラインを公開

EdgeFirstはHugging FaceにEdgeFirst Model Zooを公開し、20の異なるエッジプラットフォームで検証されたYOLOv5、YOLOv8、YOLO11、およびYOLO26モデルを搭載しています。この検証は、ターゲットハードウェア上でゼロコピーDMA前処理、モデルデコード、後処理を直接処理する単一のRustパイプラインに依存しています。