github llama.cpp · 2時間前 · inference

llama.cpp b11157 が CUDA 用の implicit GEMM を備えた conv3d を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11157 をリリースし、CUDA 上で implicit GEMM を使用した 3D 畳み込み演算のサポートを導入しました。このアップデートは空のカーネルを処理できるように実装を refinements し、macOS、Linux、Windows、Android、iOS など幅広いプラットフォームで利用可能です。

CUDA バックエンド用に implicit GEMM を備えた conv3d を追加。
空のカーネルを適切に処理するために conv3d implicit GEMM のロジックを refinements。
Linux および Windows 向けに CPU、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon のバイナリを提供。
macOS Apple Silicon (arm64)、macOS Intel (x64)、iOS XCFramework のビルドを含みます。
CPU、Adreno GPU、Hexagon NPU のサポート付き Android arm64 ビルドを提供。

このリリースにより、NVIDIA GPU 上で 3D 畳み込み演算を有効にすることで、ライブラリのハードウェアアクセラレーション機能が拡張されました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11156 が BailingMoeV3 を介して Ling 3.0 VL サポートを追加

llama.cpp プロジェクトはビルド b11156 をリリースし、Ling 3.0 VL モデルのサポートを導入しました。このアップデートは Ling 3.0 VL を BailingMoeV3 アーキテクチャに統合し、mrope セクションで BailingMoe3 をゲートする際に共有 NORM rope リストが intact なままになることを保証します。

github llama.cpp · 12時間前 · 3 回表示

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。

lab Microsoft Research Blog · 15時間前 · 15 回表示

Microsoft Research、物理AI推論のオフロードがロボットの性能とバッテリー寿命を向上させることを示す

Microsoft Researchは、物理AI推論がオンボードのロボットGPUでのみ実行されなければならないという前提に挑戦し、エッジまたはクラウドインフラストラクチャへのオフロードがモバイルマニピュレーションワークロードを大幅に強化することを実証した。彼らのロボティクスワークロードに対する体系的な調査により、オンボードコンピューティングに依存することが性能、バッテリー寿命、スケーラビリティを制限することが明らかになった。

github llama.cpp · 15時間前 · 11 回表示

llama.cpp b11147 が A8 Q6_K non-MoE dp4a OpenCL カーネルを追加

llama.cpp プロジェクトはバージョン b11147 をリリースし、OpenCL の新しいバイナリカーネルを導入しました。このアップデートは、A8 Q6_K non-MoE dp4a 構成のサポートを特に追加します。

github llama.cpp · 17時間前 · 9 回表示

llama.cpp b11140 で CUDA 上の dsv4 prefill に sparse-fa を有効化

llama.cpp プロジェクトはバージョン b11140 をリリースし、dsv4 prefill に sparse-fa を有効化する CUDA の最適化が含まれています。このアップデートは、コンパイル時のループ展開を可能にするためにカーネルをテンプレート化することで、flash attention マススク scanning プロセスのパフォーマンス問題を解決します。