llama.cpp 项目发布了版本 b10594,其中包含一项修复:当日志详细程度未设置为 LOG_LEVEL_TRACE 时,跳过 device_info 循环。此前,该循环会遍历已发现的所有设备以查询内存数量,这需要创建 GPU 上下文,导致即使数据最终被丢弃,也会分配 550 MB 的显存。
- 通过在迭代前检查日志详细程度,此更改防止了不必要的 GPU 资源使用。
- 提供适用于 macOS (Apple Silicon 和 Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、Android 和 iOS 的二进制文件。
- 该版本还提供了用于验证的用户界面二进制文件和证明。
此更新帮助那些不想使用任何 GPU 资源的用户避免在不需要设备信息时创建上下文和分配显存的开销。