Релиз llama.cpp b10817 представляет новую функцию трассировки памяти SYCL, помогающую разработчикам понимать паттерны выделения памяти на устройстве. Эта функциональность управляется двумя новыми переменными окружения, позволяющими вести подробный журнал использования памяти.
- Установка GGML_SYCL_MEMTRACE=1 отображает использование памяти по каждому месту вызова, обновляясь только при увеличении выделений более чем на 64MiB.
- Установка GGML_SYCL_MEMTRACE=2 логирует каждое отдельное событие выделения и освобождения памяти.
- Порог отчета по умолчанию можно настроить с помощью переменной GGML_SYCL_MEMTRACE_STEP.
Этот инструмент предназначен для помощи в отладке проблем, связанных с памятью, и уже доказал свою полезность для улучшения алгоритма --fit.