github llama.cpp · たった今 · inference

llama.cpp b10153 が Nanbeige4.2 モデルのサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10153 をリリースし、Nanbeige4.2 モデルアーキテクチャのサポートを導入しました。

Nanbeige4.2 モデルの読み込みと実行の互換性を追加しました。
コードベース内の flake8 リンティングチェックを修正しました。
ループ境界チェックを修正し、冗長な head_dim のロジックを削除しました。
CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL およびその他のバックエンド向けに、macOS (Apple Silicon および Intel)、Linux、Windows、Android、iOS 用のバイナリを提供しました。

このアップデートにより、ユーザーは llama.cpp フレームワーク内で Nanbeige4.2 モデルを利用できるとともに、全体的なコード品質の向上からも恩恵を受けます。

重要度 1/3 信頼度 1/3 llama.cpp Local inference

原文を読む

github llama.cpp · 2時間前

llama.cpp b10150 が ggml のオフロードロジックを調整し、dsv4 グラフを修正

llama.cpp プロジェクトはビルド b10150 をリリースしました。これには、重みのバックエンドへの演算のオフロードに関する ggml ロジックの調整が含まれています。このアップデートでは、llama dsv4 グラフの修正も対応しています。

media Hugging Face Forums · 4時間前

TraceMLがHugging Face Trainerのコールバックを追加してデータ読み込みのボトルネックを診断

著者は、GPU計算バウンドと入力バウンドのトレーニングパフォーマンスの問題を区別するのを支援するために、オープンソースのPyTorch観測性プロジェクトであるTraceMLに診断ツールを統合しました。この新機能により、開発者は低GPU利用率が低速なデータ読み込みによるものか、実際のモデル計算の限界によるものかを迅速に特定できます。

github llama.cpp · 6時間前 · 1 回表示

Aaron Teoがllama.cppに-lm mlock引数を追加

Aaron Teoは、llama.cppリポジトリに対して新しい`-lm mlock`コマンドライン引数を導入する変更を提出しました。この追加により、コードが`mlock`操作を実行しているが`mmap`を使用していない領域で、ユーザーが明示的にメモリをロックできるようになります。

github llama.cpp · 4日前

llama.cpp b10093 が DeepSeek v4 テンプレートを修正し、drop_reasoning フラグを追加

llama.cpp プロジェクトは、DeepSeek v4 モデルのサポートを含む特定の更新を備えたビルド b10093 をリリースしました。このリリースではテンプレート処理が改善され、このモデルファミリー用の新しい設定フラグが導入されました。

media Hugging Face Forums · 5日前

Forgeがブラウザ内でHugging Faceモデルのサンドボックス化されたUIを生成・コンパイル

Amin Musahは、Hugging Faceモデル用のオープンソースのブラウザプレイグラウンドであるForgeを構築しました。これは別のコードモデルを使用して動的にユーザーインターフェースを生成します。システムはタスク仕様に基づいてTSXコンポーネントを作成し、ブラウザはesbuild-wasmを使用してクライアントサイドでコンパイルし、サンドボックス化されたiframe内で実行します。