github llama.cpp · 1時間前 · inference

llama.cpp b10638がVulkan cross_entropy_lossを追加し、バイナリをリリース

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10638をリリースしました。このバージョンでは`cross_entropy_loss`および`cross_entropy_loss_back`関数に対するVulkanサポートが実装されました。

リリースにはmacOS（Apple SiliconとIntel）、Linux（Ubuntu x64、arm64、s390x）、Windows（x64とarm64）、Android（arm64）、openEuler向けのビルド済みバイナリが含まれます。
GPUアクセラレーションは、サポートされているプラットフォーム上でVulkan、CUDA（12.4、13.3、13.4 preview）、ROCm 7.14、OpenCL Adreno、SYCL、OpenVINOを通じて利用可能です。
このリリースでは、KleidiAIを搭載したmacOS Apple Siliconビルドは現在無効になっています。
コアバイナリとともに更新されたUIパッケージも提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

llama.cpp b10639 が Vulkan の warptile ワープサイズ仮定を修正

llama.cpp プロジェクトはビルド b10639 をリリースしました。これには、warptiles が以前にワープサイズが 64 以下であると想定していた Vulkan バックエンドの修正が含まれています。この変更により、より大きなワープに関連する問題を回避するためにワープサイズが制限されました。

media Hugging Face Forums · 2時間前 · 1 回表示

Celestium NeonがVRAMをクリーンアップして4GB GPUでのSDXL OOMを修正

Celestium Neonは、GTX 1650のようにメモリがわずか4GBのグラフィックスカードでStable Diffusion XL (SDXL)推論を可能にし、VRAMをクリーンアップするために設計された新しいツールです。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10636 がデフォルトで npm UI ビルドを無効化し CI をクリーンアップ

llama.cpp プロジェクトはバージョン b10636 をリリースし、Web インターフェースのビルドにおけるデフォルト動作を変更しました。npm ベースの UI ビルドはデフォルトで無効化され（LLAMA_BUILD_UI=OFF）、代わりにローカルソースまたはプリビルドダウンロードから UI が埋め込まれます。

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b10635 が sm_60 上の MoE 向け mmq をアンブロック

llama.cpp プロジェクトはバージョン b10635 をリリースし、CUDA サポートに関する特定の変更が含まれています。主な変更点は、計算能力 6.0 (sm_60) の GPU 上で Mixture of Experts (MoE) アーキテクチャ向けの混合精度行列乗算 (mmq) のブロックを解除することです。

media Hugging Face Forums · 8時間前 · 1 回表示

EdgeFirstが20のエッジプラットフォームでYOLOモデルを検証するRustパイプラインを公開

EdgeFirstはHugging FaceにEdgeFirst Model Zooを公開し、20の異なるエッジプラットフォームで検証されたYOLOv5、YOLOv8、YOLO11、およびYOLO26モデルを搭載しています。この検証は、ターゲットハードウェア上でゼロコピーDMA前処理、モデルデコード、後処理を直接処理する単一のRustパイプラインに依存しています。