llama.cpp 版本 b9716 引入了对 InternVL 的批处理支持，通过高效的批处理提升模型性能。该版本包括适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建，涵盖多种架构和硬件加速选项，包括 Vulkan、OpenVINO、SYCL 和 ROCm。
llama.cpp b9716 发布，为 InternVL 添加批处理支持
译自 English → 中文
llama.cpp 版本 b9716 引入了对 InternVL 的批处理支持，通过高效的批处理提升模型性能。该版本包括适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制构建，涵盖多种架构和硬件加速选项，包括 Vulkan、OpenVINO、SYCL 和 ROCm。