github llama.cpp · 14 天前 · inference

llama.cpp b9675 版本发布，新增 FP16 支持和多平台二进制文件

译自 English → 中文

llama.cpp 版本 b9675 为 SQR、SQRT、LOG、SIN、COS 和 CLAMP 等操作启用了 FP16 支持。该版本包含适用于 macOS、Linux、Android、Windows 和 openEuler 的二进制文件，覆盖多种架构，并支持 Vulkan、ROCm、OpenVINO、SYCL（FP16 和 FP32）以及 CUDA 12.4 和 13.3。

重要性 1/3 可信度 2/3 llama.cpp Code generation Hardware & chips Inference efficiency

阅读原文