Проект llama.cpp выпустил версию b10418, добавляющую поддержку pinned-памяти хоста для улучшения доступа к памяти от хоста к устройству в SYCL. Это обновление устраняет проблемы потокобезопасности во внутренней реализации.

  • Добавлена поддержка ggml_backend_sycl_host_buffer_type_get_max_size для pinned-памяти хоста.
  • Исправлена проблема потокобезопасности в бэкенде SYCL.
  • Включены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) и openEuler.
  • Предоставлен единый пакет пользовательского интерфейса для всех платформ.

Релиз обеспечивает более быструю передачу данных между памятью хоста и устройства для оборудования, совместимого с SYCL, обеспечивая стабильность за счет улучшенной потокобезопасности.