github llama.cpp · 1時間前 · inference

llama.cpp b10249 がサーバーに get_info ツールを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10249 をリリースし、サーバーコンポーネントに新しい `get_info` ツールを導入しました。このアップデートには `--rpc` フラグのドキュメント修正も含まれています。

サーバーはシステム情報を取得するための `get_info` ツールを公開するようになりました。
プロセスが失敗またはタイムアウトした場合、診断テキストが OS 名として誤解されるのを防ぐため、プローブ結果の処理が強化され 'unknown' が報告されます。
データのクリーンな処理を保証するために、出力のストリッピングとタイムアウト制限が追加されました。
このリリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、openEuler 用のバイナリが提供されます。

このリリースにより、`get_info` ツールがサーバー側の診断に利用可能になり、すべてのサポート対象プラットフォームで更新されたバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10247が動的割り当てを使用して広大なMoEモデルでのクラッシュを修正

llama.cppプロジェクトは、マルチバックエンド環境で大規模なMixture of Experts (MoE) モデルを読み込む際の安定性問題を解消するバージョンb10247をリリースしました。このアップデートでは、バックエンドスケジューラの固定サイズ配列を動的に割り当てられたバッファに置き換え、30以上の入力テンソルを超えるグラフ分割に対応しています。

github llama.cpp · 3時間前

llama.cpp b10246 が大型 q6_K lm_head を平坦な GEMV にルーティング

llama.cpp プロジェクトはバージョン b10246 をリリースし、特定のモデル構成における OpenCL パフォーマンスの修正を含んでいます。このアップデートは、元の次元条件が大きな重みを処理するのに不十分だった問題を解決します。

github llama.cpp · 8時間前 · 2 回表示

llama.cpp b10242がペナルティ用のCUDAバックエンドサンプラーを追加

llama.cppプロジェクトはバージョンb10242をリリースし、ペナルティ処理をGPUにオフロードできる新しいバックエンドサンプラーを導入しました。この変更により、`common_sampler_init`関数が強化され、`llama_sampler_penalties`構造体が`llama_sampler_backend`から継承するようになり、周波数と存在性の調整がバックエンドで可能になりました。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10241 が CUDA block_reduce の SMEM データ競合を修正

llama.cpp プロジェクトは、CUDA バックエンドの重要なバグに対処するバージョン b10241 をリリースしました。このアップデートは、ブロックリダクション中に共有メモリ（SMEM）を再利用する際に発生していたデータ競合を解決します。

media Hugging Face Forums · 14時間前 · 1 回表示

QuesmaがLLMトークンコスト効率のための218のツールと論文のキュレーションマップを公開

Quesmaは、LLMおよびエージェントワークフローでトークンがどこに費やされているかを追跡する218件のエントリを含むオープンなキュレーションリストをリリースしました。このリソースは、モニタリング、セマンティックキャッシング、低コストのローカルモデル、コンテキストエンジニアリング、コストガバナンスをカバーしています。