Версия llama.cpp b9673 вводит опциональные аллокации USM системы для буферов GPU ≥1GB, позволяя перераспределять VRAM при наличии поддержки устройства. Функция требует переменной среды GGML_SYCL_USM_SYSTEM и по умолчанию отключена, в случае отсутствия поддержки переключается на обычные аллокации.
llama.cpp выпускает b9673 с аллокациями USM системы и бинарниками для разных платформ
Переведено с English → Русский