LLaMA.cpp b9663 版本添加 SYCL 支持和新二进制构建
LLaMA.cpp b9663 版本添加了 OP EXPM1 支持,以及 FLOOR、TRUNC 和 ROUND 的所有单元测试用例。它包含了适用于 macOS、Linux、Android、Windows 和 openEuler 的更新二进制文件,支持 SYCL(FP32 和 FP16)、Vulkan、CUDA 12.4 和 13.3 以及 ROCm 7.2,并更新了 UI。
LLaMA.cpp b9663 版本添加了 OP EXPM1 支持,以及 FLOOR、TRUNC 和 ROUND 的所有单元测试用例。它包含了适用于 macOS、Linux、Android、Windows 和 openEuler 的更新二进制文件,支持 SYCL(FP32 和 FP16)、Vulkan、CUDA 12.4 和 13.3 以及 ROCm 7.2,并更新了 UI。
sycl 更新扩展了对 MoE MUL_MAT_ID 中重排序专家张量处理的支持,涵盖 Q4_K、Q5_K 和 Q6_K。不支持的 3D 重排序情况现在会回退而不是中止。
llama.cpp 发布版 b9661 为 Vulkan 添加了 GGML_OP_COL2IM_1D 支持,使用有界收集循环代替带取模的全 K 扫描。它对不支持的类型返回 nullptr,并为 macOS、Linux、Android、Windows 和 openEuler 提供了构建版本,涵盖 CPU、Vulkan、CUDA 和 SYCL。