llama.cpp b10817 版本引入了新的 SYCL 内存追踪功能,以帮助开发者理解设备内存分配模式。此功能由两个新的环境变量控制,允许对内存使用情况进行详细日志记录。
- 设置 GGML_SYCL_MEMTRACE=1 会显示每个位置的内存使用情况,仅在分配量增加超过 64MiB 时更新。
- 设置 GGML_SYCL_MEMTRACE=2 会记录每一个单独的分配和释放事件。
- 默认报告阈值可以使用 GGML_SYCL_MEMTRACE_STEP 变量进行自定义。
此工具旨在协助调试内存相关问题,并且已被证明对改进 --fit 算法非常有用。