Проект llama.cpp выпустил сборку b10696, которая включает pull request с добавлением быстрой векторной (fa-vec) настройки специально для чипа Apple M3 Pro.
Это обновление решает проблему #27668 для улучшения производительности на данном конкретном аппаратном обеспечении. Релиз предоставляет бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler через различные бэкенды, включая CPU, CUDA, ROCm, Vulkan, OpenVINO и SYCL.
Настройка fa-vec предназначена для оптимизации скорости или эффективности вывода у пользователей, запускающих llama.cpp на устройствах с процессором M3 Pro.