すべての記事
github llama.cpp · 10日前

llama.cpp リリース b9752: サーバーのリファクタリングとクロスプラットフォームバイナリ

llama.cpp がバージョン b9752 をリリースしました。このリリースでは、バッチ構築に焦点を当てたサーバーのリファクタリングが行われ、バッチフルケースの処理の改善やバグ修正が含まれています。macOS、Linux、Android、Windows、openEuler 向けのビルド済みバイナリが含まれており、CUDA、Vulkan、OpenVINO、SYCL などの各種アーキテクチャとアクセラレーションフレームワークをサポートしています。

github llama.cpp · 10日前

llama.cpp リリース b9753: 新しいバイナリと進捗状況の報告

llama.cpp バージョン b9753 は、仕様のモデル読み込みに対する進捗状況の報告を改善し、新しい「ステージ」リストを含んでいます。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などの複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 10日前

llama.cpp リリース b9754: 新しい AC パーサーとクロスプラットフォームバイナリ

llama.cpp バージョン b9754 は、common/peg モジュール内のより厳格な構文生成のための AC パーサーを導入します。このリリースには、macOS、Linux、Android、Windows、openEuler 用のプリコンパイル済みバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などのさまざまなアーキテクチャとアクセラレーション技術に対応しています。

github llama.cpp · 10日前

llama.cpp リリース b9750: 新しい call ステートメントとクロスプラットフォームバイナリ

llama.cpp バージョン b9750 は、call ステートメントの実装を導入し、意図しない変更をロールバックします。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリコンパイル済みバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。

github llama.cpp · 10日前

llama.cpp がバージョン b9748 をリリース、新しいバイナリと機能を追加

llama.cpp はバージョン b9748 をリリースし、スキーマに「verbose」フィールドを追加するとともに、macOS、Linux、Android、Windows、openEuler 用のバイナリを提供しました。本リリースでは、CPU、Vulkan、OpenVINO、SYCL、ROCm のサポートが複数のアーキテクチャで提供され、iOS および Windows 向けの CUDA および Vulkan ビルドも利用可能です。

github llama.cpp · 10日前

llama.cpp リリース b9747 でリアルタイムのモデルロード追跡と新しいプラットフォームバイナリが追加

llama.cpp バージョン b9747 は、SSE エンドポイントを通じてリアルタイムのモデルロード進行状況の追跡を導入しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL などのさまざまなアーキテクチャとアクセラレーション技術に対応しています。

github llama.cpp · 10日前

llama.cpp リリース b9745 が MTP3 サポートとクロスプラットフォームバイナリを追加

llama.cpp バージョン b9745 は、レイヤーオフセットと nextn フラグの新しい API を含む Step3.5/3.7 flash MTP3 のサポートを導入しました。このリリースでは、macOS、Linux、Android、Windows、openEuler 向けのビルド済みバイナリが提供され、CPU、Vulkan、CUDA、OpenVINO、SYCL のアクセラレーションオプションが含まれています。

github llama.cpp · 11日前

llama.cpp リリース b9742: SSM-conv 重み用にパッド済みストライドを更新

llama.cpp バージョン b9742 は、SSM-conv 重みのためにパッド済みストライドを導入し、ニューラルネットワーク演算の効率を向上させます。このリリースには、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャと API に対応した、macOS、Linux、Android、Windows、openEuler 用のバイナリが含まれています。

github llama.cpp · 11日前

llama.cpp リリース b9743 が新しいバイナリと GPU サポートを追加

llama.cpp バージョン b9743 は、macOS、Linux、Android、Windows、openEuler 向けの新しいバイナリを複数のアーキテクチャで導入します。今回のリリースには Vulkan、CUDA 12.4 および 13.3、OpenVINO、SYCL、ROCm のサポートが含まれ、JSON スキーマから文法への整合性により UI が更新され、パーサーのスペースルールが改善されました。