Проект llama.cpp выпустил версию b10412, которая добавляет поддержку выборки на бэкенде как для бэкендов dflash, так и dspark. Это обновление также позволяет устанавливать значения p_min больше 0 в логике выборки на бэкенде и добавляет соответствующие механизмы защиты.

  • Включает выборку на бэкенде для dflash и dspark.
  • Позволяет использовать p_min > 0 при выборке на бэкенде с добавлением защитных проверок.
  • Предоставляет двоичные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.

Это расширение расширяет доступные варианты аппаратного ускорения для пользователей llama.cpp.