github llama.cpp · 2時間前 · inference

llama.cpp b10344がNemotronモデルのMTPサポートを追加

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10344をリリースし、NemotronおよびNemotron Nanoモデル用にMulti-Token Prediction (MTP)サポートを導入しました。

Nemotron NanoモデルのMTPサポートを追加。
Nemotronモデル用のmtp_flags構成を導入。
macOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP）、openEuler向けのバイナリを提供。

このアップデートにより、ユーザーは幅広いハードウェアプラットフォームとオペレーティングシステムでNemotronモデルのMTP機能を活用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 6時間前

llama.cppがGranite-Switchアーキテクチャを追加、トークンごとのLoRA選択にグラフ内ルーターを採用

llama.cppプロジェクトは、制御トークンによってトークンごとに選択されるN個の埋め込みLoRAアダプターを備えた密接モデルバリアントであるGranite-Switchアーキテクチャのサポートを導入しました。この実装は、アダプターインデックスを解決するために、以前の概念実証用のグローバルスティッキーインデックスをグラフ内因果「ルーター」アテンションメカニズムに置き換えました。

github llama.cpp · 11時間前

ggml-webgpu リファクタリングを含む llama.cpp b10336 リリース

llama.cpp プロジェクトはバージョン b10336 をリリースしました。これには、ggml-webgpu コンポーネント内の複数の wgsl ファイルのリファクタリングと flash_attn wgsl の簡素化が含まれています。

media Hugging Face Forums · 2日前 · 8 回表示

vLLM Launcher がローカル LLM 推論用の Windows デスクトップワークベンチを提供

WSL2 を介してローカル大規模言語モデルの推論を管理するために設計された、vLLM Launcher という新しいプロジェクトが Windows デスクトップアプリケーションとしてリリースされました。このツールを使用すると、vLLM、SGLang、llama.cpp を含む複数のエンジンバックエンドを単一のグラフィカルインターフェースから制御できます。

github llama.cpp · 2日前 · 1 回表示

llama.cpp b10330 が CUDA で rms_norm、mul、rope を融合

llama.cpp プロジェクトはバージョン b10330 をリリースし、rms_norm、乗算、RoPE の操作を単一のカーネルに融合する CUDA 最適化を導入しました。この変更には、融合された操作のメモリ範囲チェックと、ブロードキャスト重みのための新しいテストケースが伴います。

github llama.cpp · 2日前 · 6 回表示

llama.cpp b10328 が Docker を介したサーバーツールの初期分離を追加

llama.cpp プロジェクトはビルド b10328 をリリースし、Docker を使用してサーバーコンポーネント内のツールを分離する初期サポートを導入しました。このアップデートには、ツール I/O サンドボックスの分離と関連設定フラグのリネームのためのドキュメントとコード適応が含まれています。