すべての記事 — korshunov.ai — ML ニュース

すべての記事ページ 1 / 14

github llama.cpp · 16日前

llama.cpp リリース b9670: 修正と新規ビルド

llama.cpp release b9670 には、llama-graph における NVFP4 のエッジケースの修正が含まれています。これには、GEMM 後の MUL 操作の移動や、build_ffn をサポートされている組み合わせに制限することが含まれます。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けのバイナリが提供されており、CUDA、Vulkan、SYCL、OpenVINO を含む複数のアーキテクチャとバックエンドオプションに対応しています。

github llama.cpp · 16日前

llama.cpp Release b9667 Adds Vulkan and CUDA Support

llama.cpp release b9667 introduces Vulkan support with S_v=16 via gated_delta_net. It includes binaries for macOS, Linux, Android, Windows, and openEuler across multiple architectures, with options for Vulkan, CUDA 12.4 and 13.3, ROCm, OpenVINO, and SYCL.

github llama.cpp · 16日前

llama.cpp リリース b9668 で UMA ホスト可視メモリとクロスプラットフォームバイナリが追加

llama.cpp バージョン b9668 は、0cc4m の提案に基づき、UMA デバイスでのパフォーマンス向上のために UMA ホスト可視メモリバッファを実装しました。このリリースには、macOS、Linux、Android、Windows、openEuler 用のバイナリが含まれており、CPU、Vulkan、ROCm、OpenVINO、SYCL、HIP をサポートし、専用 UI パッケージも提供されています。

github llama.cpp · 16日前

llama.cpp リリース b9665 で --offline フラグと新しいバイナリビルドが追加

llama.cpp バージョン b9665 は、ベンチマーク用の新しい --offline フラグを導入しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリビルドが含まれており、Vulkan、CUDA、ROCm、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 16日前

LLaMA.cpp b9663 リリースで SYCL サポートと新しいバイナリビルドが追加

LLaMA.cpp の b9663 リリースでは、OP EXPM1 のサポートと FLOOR、TRUNC、ROUND のすべてのユニットテストケースが追加されました。macOS、Linux、Android、Windows、openEuler 用の更新されたバイナリが含まれており、SYCL（FP32 および FP16）、Vulkan、CUDA 12.4 および 13.3、ROCm 7.2 のサポートに加え、UI も更新されています。

github llama.cpp · 16日前

sycl: 再順序付けされた Q4_K/Q5_K/Q6_K MoE MUL_MAT_ID のサポート

sycl の更新により、MoE MUL_MAT_ID における再順序付けされたエキスパートテンサーの処理が Q4_K、Q5_K、および Q6_K に拡張されました。サポートされていない 3D 再順序付けケースは、中止するのではなくフォールバックに切り替わるようになりました。

github llama.cpp · 16日前

Vulkanがcol2im_1d演算を追加し、複数のプラットフォームをサポート

llama.cppのリリースb9661は、Vulkan向けにGGML_OP_COL2IM_1Dサポートを追加しました。これは、モジュロ付きのフルKスキャンの代わりに有界なgatherループを使用します。サポートされていない型にはnullptrを返し、CPU、Vulkan、CUDA、SYCLに対応するmacOS、Linux、Android、Windows、openEulerのビルドを含みます。