Проект llama.cpp выпустил сборку b10017, которая включает конкретное обновление для бэкенда SYCL. Изменение увеличивает порог минимального размера буфера для системных выделений Unified Shared Memory (USM) с 1 ГиБ до 4 ГиБ.

  • Это изменение основано на реальных экспериментах с превышением объема памяти устройства весами моделей, превышающими доступную VRAM, например, запуском Qwen3.5-35B-A3B-Q8 на B70.
  • Также было добавлено сообщение отладки для лучшего отслеживания системных выделений USM.
  • Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Модификация направлена на повышение стабильности при работе с большими моделями, превышающими доступную VRAM на оборудовании, совместимом с SYCL.