github llama.cpp · 1日前 · inference

llama.cpp b10354 が Android での CPU アフィニティマスクの修正を提供

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10354 をリリースしました。これには、Android デバイスで無視されていた CPU アフィニティマスクの問題に対する修正が含まれています。

リリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x)、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL、OpenVINO)、Android (arm64) 用のバイナリが提供されています。

このビルドでは、macOS Apple Silicon に対する KleidiAI サポートは無効のままです。

openEuler のビルドは大幅に無効化されており、特定の x86 および aarch64 構成のみが利用可能です。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 1日前

llama.cpp b10344がNemotronモデルのMTPサポートを追加

llama.cppプロジェクトはビルドb10344をリリースし、NemotronおよびNemotron Nanoモデル用にMulti-Token Prediction (MTP)サポートを導入しました。

github llama.cpp · 2日前

llama.cppがGranite-Switchアーキテクチャを追加、トークンごとのLoRA選択にグラフ内ルーターを採用

llama.cppプロジェクトは、制御トークンによってトークンごとに選択されるN個の埋め込みLoRAアダプターを備えた密接モデルバリアントであるGranite-Switchアーキテクチャのサポートを導入しました。この実装は、アダプターインデックスを解決するために、以前の概念実証用のグローバルスティッキーインデックスをグラフ内因果「ルーター」アテンションメカニズムに置き換えました。

github llama.cpp · 2日前

ggml-webgpu リファクタリングを含む llama.cpp b10336 リリース

llama.cpp プロジェクトはバージョン b10336 をリリースしました。これには、ggml-webgpu コンポーネント内の複数の wgsl ファイルのリファクタリングと flash_attn wgsl の簡素化が含まれています。

media Hugging Face Forums · 3日前 · 8 回表示

vLLM Launcher がローカル LLM 推論用の Windows デスクトップワークベンチを提供

WSL2 を介してローカル大規模言語モデルの推論を管理するために設計された、vLLM Launcher という新しいプロジェクトが Windows デスクトップアプリケーションとしてリリースされました。このツールを使用すると、vLLM、SGLang、llama.cpp を含む複数のエンジンバックエンドを単一のグラフィカルインターフェースから制御できます。

github llama.cpp · 3日前 · 2 回表示

llama.cpp b10330 が CUDA で rms_norm、mul、rope を融合

llama.cpp プロジェクトはバージョン b10330 をリリースし、rms_norm、乗算、RoPE の操作を単一のカーネルに融合する CUDA 最適化を導入しました。この変更には、融合された操作のメモリ範囲チェックと、ブロードキャスト重みのための新しいテストケースが伴います。