github llama.cpp · 1時間前 · inference

llama.cpp b10155 が MiMo-V2.5 オーディオサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10155 をリリースし、MiMo-V2.5 オーディオ入力モデルのサポートを導入しました。このアップデートには MiMo オーディオ用の GGUF コンバーターが含まれ、RVQ ベースのオーディオモデルを処理するための必要な C++ バックエンドロジックが実装されています。

RVQ ベースのモデルアーキテクチャを使用して、MiMo-V2.5 オーディオ入力のサポートを追加しました。
MiMo オーディオ形式専用の GGUF コンバーターを含めました。
新しいモデルタイプに対応する C++ 推論コードを実装しました。
CPU、GPU、および専用ハードウェアバックエンド向けに、macOS（Apple Silicon および Intel）、Linux、Windows、Android、openEuler のバイナリを提供しました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 9時間前

llama.cpp b10150 が ggml のオフロードロジックを調整し、dsv4 グラフを修正

llama.cpp プロジェクトはビルド b10150 をリリースしました。これには、重みのバックエンドへの演算のオフロードに関する ggml ロジックの調整が含まれています。このアップデートでは、llama dsv4 グラフの修正も対応しています。

media Hugging Face Forums · 11時間前

TraceMLがHugging Face Trainerのコールバックを追加してデータ読み込みのボトルネックを診断

著者は、GPU計算バウンドと入力バウンドのトレーニングパフォーマンスの問題を区別するのを支援するために、オープンソースのPyTorch観測性プロジェクトであるTraceMLに診断ツールを統合しました。この新機能により、開発者は低GPU利用率が低速なデータ読み込みによるものか、実際のモデル計算の限界によるものかを迅速に特定できます。

github llama.cpp · 13時間前 · 2 回表示

Aaron Teoがllama.cppに-lm mlock引数を追加

Aaron Teoは、llama.cppリポジトリに対して新しい`-lm mlock`コマンドライン引数を導入する変更を提出しました。この追加により、コードが`mlock`操作を実行しているが`mmap`を使用していない領域で、ユーザーが明示的にメモリをロックできるようになります。

github llama.cpp · 4日前

llama.cpp b10093 が DeepSeek v4 テンプレートを修正し、drop_reasoning フラグを追加

llama.cpp プロジェクトは、DeepSeek v4 モデルのサポートを含む特定の更新を備えたビルド b10093 をリリースしました。このリリースではテンプレート処理が改善され、このモデルファミリー用の新しい設定フラグが導入されました。

github llama.cpp · 5日前 · 1 回表示

llama.cpp b10089 が CUDA GET_ROWS に完全な k-quant および i-quant サポートを追加

llama.cpp b10089 リリースは、k-quants、i-quants、mxfp4 量子化フォーマットをサポートするように CUDA GET_ROWS 操作を拡張します。この変更により、量子化されたすべての GGML タイプが埋め込みルックアップの直接デバイスパスを使用できるようになります。