すべての記事
github llama.cpp · 10日前

llama.cpp リリース b9750: 新しい call ステートメントとクロスプラットフォームバイナリ

llama.cpp バージョン b9750 は、call ステートメントの実装を導入し、意図しない変更をロールバックします。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリコンパイル済みバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 10日前

llama.cpp がバージョン b9748 をリリース、新しいバイナリと機能を追加

llama.cpp はバージョン b9748 をリリースし、スキーマに「verbose」フィールドを追加するとともに、macOS、Linux、Android、Windows、openEuler 用のバイナリを提供しました。本リリースでは、CPU、Vulkan、OpenVINO、SYCL、ROCm のサポートが複数のアーキテクチャで提供され、iOS および Windows 向けの CUDA および Vulkan ビルドも利用可能です。

github llama.cpp · 10日前

llama.cpp リリース b9747 でリアルタイムのモデルロード追跡と新しいプラットフォームバイナリが追加

llama.cpp バージョン b9747 は、SSE エンドポイントを通じてリアルタイムのモデルロード進行状況の追跡を導入しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などのさまざまなアーキテクチャとアクセラレーション技術に対応しています。

github llama.cpp · 10日前

llama.cpp リリース b9745 が MTP3 サポートとクロスプラットフォームバイナリを追加

llama.cpp バージョン b9745 は、レイヤーオフセットと nextn フラグの新しい API を含む Step3.5/3.7 flash MTP3 のサポートを導入しました。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けのビルド済みバイナリが提供され、CPU、Vulkan、CUDA、OpenVINO、SYCL のアクセラレーションオプションが含まれています。

github llama.cpp · 11日前

llama.cpp リリース b9742: SSM-conv 重み用にパッド済みストライドを更新

llama.cpp バージョン b9742 は、SSM-conv 重みのためにパッド済みストライドを導入し、ニューラルネットワーク演算の効率を向上させます。このリリースには、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャと API に対応した、macOS、Linux、Android、Windows、openEuler 用のバイナリが含まれています。

github llama.cpp · 11日前

llama.cpp リリース b9743 が新しいバイナリと GPU サポートを追加

llama.cpp バージョン b9743 は、macOS、Linux、Android、Windows、openEuler 向けの新しいバイナリを複数のアーキテクチャで導入します。今回のリリースには Vulkan、CUDA 12.4 および 13.3、OpenVINO、SYCL、ROCm のサポートが含まれ、JSON スキーマから文法への整合性により UI が更新され、パーサーのスペースルールが改善されました。

github llama.cpp · 11日前

llama.cpp リリース b9738: CORS 認証ヘッダーの転送修正と新しいバイナリビルド

llama.cpp バージョン b9738 は、認証ヘッダーを転送しないように CORS プロキシを修正しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリビルドが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 11日前

ggmlがAMXの最適化にパーティション平坦化を採用

ggmlプロジェクトは、n_batch * M に対するパーティションを平坦化することでAMXのパフォーマンスを最適化し、すべてのスレッドが量子化に参加するようにしました。この変更により、CPUおよびGPUプラットフォーム上で様々なモデルやハードウェア構成において最大1.47倍の速度向上を実現し、推論時間の改善が一貫して確認されています。