github llama.cpp · 1時間前 · inference

llama.cpp b10642 が KV セルにトークン ID 追跡を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10642 をリリースし、キーバリュー (KV) セル内のトークン ID を追跡する変更を導入しました。

コアアップデートには、KV セル実装へのトークン ID 追跡の追加が含まれます。
`get_prev_tokens` 関数はこの特定のコミットから削除され、メインのプルリクエスト #27762 に移動されました。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL)、および openEuler 用のバイナリが提供されています。

このリリースでは、内部 KV セルの変更とともに、複数のプラットフォームで更新されたバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10638がVulkan cross_entropy_lossを追加し、バイナリをリリース

llama.cppプロジェクトはバージョンb10638をリリースしました。このバージョンでは`cross_entropy_loss`および`cross_entropy_loss_back`関数に対するVulkanサポートが実装されました。

github llama.cpp · 6時間前 · 2 回表示

llama.cpp b10639 が Vulkan の warptile ワープサイズ仮定を修正

llama.cpp プロジェクトはビルド b10639 をリリースしました。これには、warptiles が以前にワープサイズが 64 以下であると想定していた Vulkan バックエンドの修正が含まれています。この変更により、より大きなワープに関連する問題を回避するためにワープサイズが制限されました。

media Hugging Face Forums · 6時間前 · 1 回表示

Celestium NeonがVRAMをクリーンアップして4GB GPUでのSDXL OOMを修正

Celestium Neonは、GTX 1650のようにメモリがわずか4GBのグラフィックスカードでStable Diffusion XL (SDXL)推論を可能にし、VRAMをクリーンアップするために設計された新しいツールです。

github llama.cpp · 10時間前 · 2 回表示

llama.cpp b10636 がデフォルトで npm UI ビルドを無効化し CI をクリーンアップ

llama.cpp プロジェクトはバージョン b10636 をリリースし、Web インターフェースのビルドにおけるデフォルト動作を変更しました。npm ベースの UI ビルドはデフォルトで無効化され（LLAMA_BUILD_UI=OFF）、代わりにローカルソースまたはプリビルドダウンロードから UI が埋め込まれます。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10635 が sm_60 上の MoE 向け mmq をアンブロック

llama.cpp プロジェクトはバージョン b10635 をリリースし、CUDA サポートに関する特定の変更が含まれています。主な変更点は、計算能力 6.0 (sm_60) の GPU 上で Mixture of Experts (MoE) アーキテクチャ向けの混合精度行列乗算 (mmq) のブロックを解除することです。