github llama.cpp · 17 天前 · inference

LLaMA.cpp 发布 b9685，新增 SYCL Dev2Dev Memcpy 及多平台二进制文件

译自 English → 中文

LLaMA.cpp 版本 b9685 引入了基于 SYCL 的 dev2dev memcpy 功能，将 GGML_SYCL_DEV2DEV_MEMCPY 移至运行时表，并改进了点对点通信检测。该发布版包含适用于 macOS、Linux、Android、Windows 和 openEuler 的预编译二进制文件，支持多种架构及包括 Vulkan、ROCm、OpenVINO 和 SYCL (FP32/FP16) 在内的多种 API。

重要性 1/3 可信度 1/3 llama.cpp Code generation Hardware & chips Inference efficiency

阅读原文