llama.cpp バージョン b9716 は、InternVL のバッチ処理サポートを導入し、効率的なバッチ処理を通じてモデルパフォーマンスを向上させます。このリリースには、macOS、Linux、Android、Windows、openEuler 向けのバイナリビルドが含まれており、Vulkan、OpenVINO、SYCL、ROCm を含む複数のアーキテクチャとハードウェアアクセラレーションオプションに対応しています。
llama.cpp リリース b9716 が InternVL のバッチ処理サポートを追加
翻訳元 English → 日本語