github llama.cpp · 2時間前 · inference

llama.cpp b10107 が Windows のクラッシュを修正し、複数のプラットフォーム向けのバイナリを提供

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10107 をリリースしました。これには、op_poll 機能を有効にした際に発生する Windows のクラッシュの修正が含まれています。

op_poll がアクティブな場合の Windows でのクラッシュを解決（PR #26029）。
macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x with CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL)、Android (arm64)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、および openEuler 向けのビルド済みバイナリを提供。
このリリースでは、macOS Apple Silicon に対する KleidiAI サポートを無効化しました。

このアップデートにより、op_poll を利用する Windows システムの安定性が確保されつつ、主要な OS およびアクセラレーター全体で包括的なハードウェアサポートを引き続き提供しています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 7時間前

llama.cpp b10105 が mlock/mmap/directio を単一のロードモード引数にリファクタリング

llama.cpp プロジェクトはビルド b10105 をリリースし、個別のメモリ管理フラグを統合された `load-mode` 引数に集約することで、コマンドラインインターフェースの大幅なリファクタリングを導入しました。

github llama.cpp · 17時間前

llama.cpp b10099 が CUDA 上の NVFP4 W4A4 量子化を改善

llama.cpp プロジェクトはバージョン b10099 をリリースし、NVFP4 W4A4 アクティベーション量子化の改善のために CUDA バックエンドに重要な更新が含まれています。

github llama.cpp · 19時間前

llama.cpp b10098 が Hexagon 活性化演算を更新

llama.cpp プロジェクトはバージョン b10098 をリリースし、Hexagon 活性化演算の更新が含まれています。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けに、さまざまな CPU および GPU バックエンド用のバイナリが提供されています。

media Together AI Blog · 21時間前

Togetherがカスタムトレーニングベータ版付きの専用モデル推論をリリース

Togetherは、その推論プラットフォームに重要なアップデートを導入し、オープンウェイトモデルのパフォーマンス、コスト、品質に対する完全な制御をユーザーに提供するために設計された「Dedicated Model Inference」を発表しました。このアップデートでは、フルウェイトとLoRAの強化学習を含むカスタムトレーニング機能のクローズドベータ版も発表されています。

github llama.cpp · 22時間前 · 1 回表示

llama.cpp b10094、ドラフトリポジトリのサイドカーから推論スペキュラティブタイプを検出

llama.cppプロジェクトはバージョンb10094をリリースし、ドラフトリポジトリのサイドカーからスペキュラティブデコーディングタイプを自動的に検出する機能を導入しました。以前は、mtp-、dflash-、またはeagle3-のサイドカーを含むリポジトリを指すために`-hfd`フラグを使用し、`--spec-type`を明示的に指定しなかった場合、システムはドラフトをフルモデルとして誤って解決していました。