Проект llama.cpp выпустил версию b10456, которая включает критическое исправление для бэкенда SYCL в запусках квантованного ядра копирования. Обновление корректирует количество потоков и блоков так, чтобы они были пропорциональны размеру квантования, эффективно устраняя проблемы с недостаточным и избыточным выделением ресурсов.
- Исправлено количество потоков/блоков в запусках квантованного ядра копирования (PR #27160).
- Пропускная способность для пути q4_0 -> f32 на Arc 70 увеличивается с 20.21 ГБ/с до 158.19 ГБ/с.
- Другие пути квантования демонстрируют равномерный прирост производительности.
- Бинарные файлы доступны для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, Vulkan, ROCm, OpenVINO и SYCL.
Это изменение значительно повышает эффективность передачи данных на графических процессорах Intel Arc с использованием бэкенда SYCL, устраняя серьезную проблему с производительностью в операциях квантования.