github llama.cpp · 1時間前 · inference

llama.cpp b10242がペナルティ用のCUDAバックエンドサンプラーを追加

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10242をリリースし、ペナルティ処理をGPUにオフロードできる新しいバックエンドサンプラーを導入しました。この変更により、`common_sampler_init`関数が強化され、`llama_sampler_penalties`構造体が`llama_sampler_backend`から継承するようになり、周波数と存在性の調整がバックエンドで可能になりました。

実装には、バックエンドの初期化、ペナルティの適用、およびバックエンドサンプリングにおけるtop-kペナルティのサポートに関するロジックが含まれています。
サンプリング中にNaNの生成を防ぐため、マスクされたログ値を-Infとして保持することで数値安定性が向上しました。
検証により、繰り返しペナルティ値が有限かつ0より大きいことが保証され、無効なパラメータ用のテストが追加されました。
このリリースでは、macOS（Apple SiliconおよびIntel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、HIP、OpenVINO、SYCL）、openEuler向けのバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10241 が CUDA block_reduce の SMEM データ競合を修正

llama.cpp プロジェクトは、CUDA バックエンドの重要なバグに対処するバージョン b10241 をリリースしました。このアップデートは、ブロックリダクション中に共有メモリ（SMEM）を再利用する際に発生していたデータ競合を解決します。

media Hugging Face Forums · 6時間前 · 1 回表示

QuesmaがLLMトークンコスト効率のための218のツールと論文のキュレーションマップを公開

Quesmaは、LLMおよびエージェントワークフローでトークンがどこに費やされているかを追跡する218件のエントリを含むオープンなキュレーションリストをリリースしました。このリソースは、モニタリング、セマンティックキャッシング、低コストのローカルモデル、コンテキストエンジニアリング、コストガバナンスをカバーしています。

github llama.cpp · 9時間前

llama.cpp b10238 が Qwen3-Next の MTP サポートを追加

llama.cpp プロジェクトはビルド b10238 をリリースし、Qwen3-Next モデルファミリーに対して Multi-Token Prediction (MTP) サポートを導入しました。このアップデートには、MTP レイヤーを処理するための特定の実装変更と、コードベース内の Python 型チェックに関連する修正が含まれています。

github llama.cpp · 10時間前 · 3 回表示

llama.cpp b10237 が DeepSeek V3.2 の MTP サポートを追加

llama.cpp プロジェクトはビルド b10237 をリリースし、DeepSeek V3.2 モデル向けのマルチトークン予測（MTP）サポートを導入しました。

media Hugging Face Forums · 12時間前 · 2 回表示

Qxern-v6は潜在トークンとASTサイドカーを使用して、高速かつ正確なコード転送を実現

Qxern-v6システムは、適応的な決定論的抽象構文木（AST）サイドカーを通じて正確な記号の精度を維持しつつ、2つのLLMが32個の圧縮された潜在トークンで通信することを可能にします。15歳の開発者によって構築されたこのアーキテクチャは、コードを圧縮するためにQwen2.5-Coder-1.5Bを使用し、生のテキストを見ずに解釈するために凍結されたQwen3.5-0.8Bデコーダーを使用しています。