github llama.cpp · 1時間前 · inference

llama.cpp b10247が動的割り当てを使用して広大なMoEモデルでのクラッシュを修正

翻訳元 English → 日本語

llama.cppプロジェクトは、マルチバックエンド環境で大規模なMixture of Experts (MoE) モデルを読み込む際の安定性問題を解消するバージョンb10247をリリースしました。このアップデートでは、バックエンドスケジューラの固定サイズ配列を動的に割り当てられたバッファに置き換え、30以上の入力テンソルを超えるグラフ分割に対応しています。

グラフ分割入力の固定最大値GGML_SCHED_MAX_SPLIT_INPUTSを動的割り当てに置き換えました。
Gemma 4、Qwen MoE、Mixtral、DeepSeekなどの広大なMoEモデルの読み込み時のクラッシュを修正しました。
graph_sizeの計算を更新し、固定定数ではなく実際の入力数を使用するようにしました。
macOS (Apple Silicon/Intel)、Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL)、Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP)、Android、iOS向けのバイナリを提供しています。

この変更により、ユーザーは複数のバックエンドデバイスを持つシステムでスケジューラ関連のクラッシュに遭遇することなく、複雑なMoEアーキテクチャを実行できるようになりました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10246 が大型 q6_K lm_head を平坦な GEMV にルーティング

llama.cpp プロジェクトはバージョン b10246 をリリースし、特定のモデル構成における OpenCL パフォーマンスの修正を含んでいます。このアップデートは、元の次元条件が大きな重みを処理するのに不十分だった問題を解決します。

github llama.cpp · 7時間前 · 2 回表示

llama.cpp b10242がペナルティ用のCUDAバックエンドサンプラーを追加

llama.cppプロジェクトはバージョンb10242をリリースし、ペナルティ処理をGPUにオフロードできる新しいバックエンドサンプラーを導入しました。この変更により、`common_sampler_init`関数が強化され、`llama_sampler_penalties`構造体が`llama_sampler_backend`から継承するようになり、周波数と存在性の調整がバックエンドで可能になりました。

github llama.cpp · 10時間前 · 1 回表示

llama.cpp b10241 が CUDA block_reduce の SMEM データ競合を修正

llama.cpp プロジェクトは、CUDA バックエンドの重要なバグに対処するバージョン b10241 をリリースしました。このアップデートは、ブロックリダクション中に共有メモリ（SMEM）を再利用する際に発生していたデータ競合を解決します。

media Hugging Face Forums · 13時間前 · 1 回表示

QuesmaがLLMトークンコスト効率のための218のツールと論文のキュレーションマップを公開

Quesmaは、LLMおよびエージェントワークフローでトークンがどこに費やされているかを追跡する218件のエントリを含むオープンなキュレーションリストをリリースしました。このリソースは、モニタリング、セマンティックキャッシング、低コストのローカルモデル、コンテキストエンジニアリング、コストガバナンスをカバーしています。

github llama.cpp · 16時間前

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。