github llama.cpp · 9時間前 · inference

llama.cpp b11320がLLM-jp-4.1 Harmony方言ハンドラーを追加

翻訳元 English → 日本語

llama.cppプロジェクトは、LLM-jp-4.1モデル用の新しい方言ハンドラーを含むビルドb11320をリリースしました。

この更新では、トークナイザーおよび並列ツール呼び出しのフォーマットとの互換性問題を解決するため、LLM-jp-4.1 Harmony方言のサポートが追加されました。
リリースには、macOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon）、Android、Windows、openEuler用のバイナリが含まれています。
ディストリビューションにはスタンドアロンUIパッケージも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Local inference

llama.cpp b11307 が推論デコーディングのためにバッチ順序を保持

llama.cpp プロジェクトはビルド b11307 をリリースし、推論デコーディング中に元のバッチシーケンスを保持するためにレイヤー入力の順序を修正しました。この変更により、マスクされていない NextN 埋め込みのトークン順序が正しく維持され、テンソル分割と互換性を持つことが保証されます。

github llama.cpp · 22時間前 · 1 回表示

llama.cpp b11301 が ggml/gguf の整数オーバーフローを修正

llama.cpp プロジェクトはビルド b11301 をリリースしました。これには、ggml および gguf コンポーネント内の整数オーバーフロー問題の修正が含まれています。このアップデートは、ゼロ要素テンザルの処理時に潜在的なエラーを防ぐための検証ロジックを改善しています。

github llama.cpp · 23時間前 · 3 回表示

llama.cpp b11302 で ThreadSanitizer のスパースインデクサにおけるデータ競合を修正

llama.cpp プロジェクトは、CIパイプラインでThreadSanitizerによって特定された重大な並行性問題を解決するビルド b11302 をリリースしました。この更新では、複数のCPUスレッドが同じメモリ要素に誤って書き込んでいたスパースアテンションメカニズム内のデータ競合を解消しました。

github llama.cpp · 23時間前 · 2 回表示

llama.cpp b11298 が変換と特徴抽出のための dflash サポートを追加

llama.cpp プロジェクトはビルド b11298 をリリースし、dflash フォーマットのサポートを導入しました。このアップデートにより、モデルをこのフォーマットに変換する機能と、その後の特徴抽出機能が有効になります。

github llama.cpp · 1日前 · 3 回表示

llama.cpp b11284 が量子化された重みビューの OpenVINO GET_ROWS を修正

llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。