llama.cpp のリリース b9767 は、小バッチに対する mat-vec パスを使用して MTP 推論を改善し、更新された GPU サポートを含んでいます。このリリースは、macOS、Linux、Android、Windows、openEuler 向けのバイナリを提供しており、Vulkan、CUDA、OpenVINO、SYCL を含む複数のアーキテクチャと API で動作します。
llama.cpp リリース b9767 が GPU とマルチプラットフォーム対応を追加
翻訳元 English → 日本語