Проект llama.cpp добавил настройки векторов быстрого внимания (fa-vec) для GPU Apple M4 Pro через новый вклад в бэкенд Metal. Это обновление следует за предыдущей работой по поддержке дополнительных GPU Apple и было выполнено с помощью инструмента `ggml-metal-tuning` на MacBook Pro 14 дюймов от ноября 2024 года.

  • Процесс настройки успешно завершился за 1 час, 13 минут и 1 секунду без другой нагрузки на систему.
  • Вклад поддерживает типы данных f16 и q8_0 для архитектуры M4 Pro.
  • Этот релиз включает бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL) и openEuler.