korshunov.ai
日本語
すべての記事 ページ 8 / 11
github llama.cpp · 11日前

llama.cpp リリース b9742: SSM-conv 重み用にパッド済みストライドを更新

llama.cpp バージョン b9742 は、SSM-conv 重みのためにパッド済みストライドを導入し、ニューラルネットワーク演算の効率を向上させます。このリリースには、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャと API に対応した、macOS、Linux、Android、Windows、openEuler 用のバイナリが含まれています。
github llama.cpp · 11日前

llama.cpp リリース b9743 が新しいバイナリと GPU サポートを追加

llama.cpp バージョン b9743 は、macOS、Linux、Android、Windows、openEuler 向けの新しいバイナリを複数のアーキテクチャで導入します。今回のリリースには Vulkan、CUDA 12.4 および 13.3、OpenVINO、SYCL、ROCm のサポートが含まれ、JSON スキーマから文法への整合性により UI が更新され、パーサーのスペースルールが改善されました。
github llama.cpp · 11日前

llama.cpp リリース b9738: CORS 認証ヘッダーの転送修正と新しいバイナリビルド

llama.cpp バージョン b9738 は、認証ヘッダーを転送しないように CORS プロキシを修正しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリビルドが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。
github llama.cpp · 11日前

ggmlがAMXの最適化にパーティション平坦化を採用

ggmlプロジェクトは、n_batch * M に対するパーティションを平坦化することでAMXのパフォーマンスを最適化し、すべてのスレッドが量子化に参加するようにしました。この変更により、CPUおよびGPUプラットフォーム上で様々なモデルやハードウェア構成において最大1.47倍の速度向上を実現し、推論時間の改善が一貫して確認されています。
github llama.cpp · 11日前

GLM-5.2 DSAインデクサーの修正：テンソルが不要としてマークされる

GLM-5.2モデルのDSAインデクサーはすべてのレイヤーに誤って読み込まれており、欠落したテンソルにより失敗していました。今回の更新では、インデクサーのテンソルをTENSOR_NOT_REQUIREDとしてマークし、インデクサーのないレイヤーがnullptrとして読み込まれるようにし、MLAアテンションを完全に有効にします。均一なインデックス付けを持つDeepSeek-V3.2は影響を受けません。
github llama.cpp · 12日前

LLaMA.cpp b9732 リリース：新しいバイナリと更新

LLaMA.cpp は、macOS、Linux、Android、Windows、openEuler 用の更新されたバイナリを含むバージョン b9732 をリリースしました。今回のリリースには、子からルーターへの通信のリファクタリング、ウェイクアップ処理の修正、改善された update_status()、およびドキュメントが含まれています。新しいビルドは、Vulkan、ROCm、OpenVINO、SYCL、および複数のアーキテクチャ上の CUDA 12/13 をサポートしています。
github llama.cpp · 12日前

ggml-webgpu が Vulkan および NVIDIA 用の F16 アダプター トグルを追加

ggml-webgpu プロジェクトは、Vulkan および NVIDIA GPU のハーフ精度 (F16) サポート用アダプター トグルを追加しました。このアップデートにより、macOS、Linux、Android、Windows、openEuler を含む複数のプラットフォームで互換性のあるハードウェアのパフォーマンスが向上し、ARM および x64 アーキテクチャ用の特定のビルドも提供されています。
github llama.cpp · 12日前

llama.cpp リリース b9731: パフォーマンス最適化とクロスプラットフォームバイナリ

llama.cpp バージョン b9731 は、トークンソートオーバーヘッドを削減するために std::partial_sort を使用した最適化を導入し、top-n トークン選択のパフォーマンスを 8.555ms から 0.704ms に改善しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリビルドバイナリが含まれており、複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。
github llama.cpp · 12日前

llama.cpp リリース b9730: 修正と新しいバイナリ

llama.cpp バージョン b9730 には、Windows での UTF-8 処理の修正と ggml_fopen および CLI の改善が含まれています。このリリースでは、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応した、macOS、Linux、Android、Windows、openEuler 用のバイナリが提供されます。
github llama.cpp · 12日前

LLaMA.cpp リリース b9728 でコメント行のサポートとマルチプラットフォームバイナリが追加

LLaMA.cpp バージョン b9728 は、--api-key-file 設定でコメント行のサポートを導入しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリビルドバイナリが含まれており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。
github llama.cpp · 12日前

llama.cpp リリース b9726 が --agent 引数と新しいプラットフォームバイナリを追加

llama.cpp バージョン b9726 は、新しい --agent 引数を導入し、冗長な webui 命名の互換性を削除しました。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのプリコンパイル済みバイナリが含まれており、複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。