llama.cpp 版本 b9673 引入了用于 ≥1GB GPU 缓冲区的可选 USM 系统分配功能,在设备支持可用时启用 VRAM 超卖。该功能需要 GGML_SYCL_USM_SYSTEM 环境变量,默认处于禁用状态,如果不支持则回退到常规分配。
llama.cpp 发布 b9673,支持 USM 系统分配和跨平台二进制文件
译自 English → 中文
llama.cpp 版本 b9673 引入了用于 ≥1GB GPU 缓冲区的可选 USM 系统分配功能,在设备支持可用时启用 VRAM 超卖。该功能需要 GGML_SYCL_USM_SYSTEM 环境变量,默认处于禁用状态,如果不支持则回退到常规分配。