Проект llama.cpp выпустил версию b10594, которая включает исправление, позволяющее пропускать цикл device_info, если уровень логирования не установлен на LOG_LEVEL_TRACE. Ранее этот цикл перебирал обнаруженные устройства для запроса количества памяти, что требовало создания контекстов GPU и приводило к выделению 550 МБ VRAM, даже если данные впоследствии отбрасывались.
- Изменение предотвращает ненужное использование ресурсов GPU путем проверки уровня логирования перед началом перебора.
- Бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и iOS.
- В релизе также предоставлены бинарные файлы пользовательского интерфейса и аттестации для проверки.
Это обновление помогает пользователям, которые не хотят использовать ресурсы GPU, избежать накладных расходов на создание контекстов и выделение VRAM, когда информация об устройствах не требуется.