Проект llama.cpp выпустил сборку b10863, которая включает исправление простаивающих потоков в ядре `mul_mv_iq3_xxs` на Metal при условии, что `ne00` меньше 1024. Обновление решает проблему полупростаивающего simdgroup путем введения отдельного разделенного ядра для определенных размеров матриц.
- Исправляет полупростаивающий simdgroup в `kernel_mul_mv_iq3_xxs_f32` для `ne00 < 1024`.
- Сохраняет значение `N_R0_IQ3_XXS = 4` и вызывает отдельное разделенное ядро на 8 строк, когда `ne00/32 < 32` и делится нацело.
- Использует константу функции для выбора разделения строк `iq3_xxs` вместо отдельной инстанцииации ядра.
Этот релиз предоставляет бинарные файлы для macOS, iOS, Linux, Android, Windows и openEuler для различных аппаратных бэкендов, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.