Выпуск llama.cpp b10614 вносит значительные архитектурные изменения в бэкенд Metal, разделяя исходные коды операций и включая параллельную компиляцию. Это обновление также включает несколько новых реализаций ядер и поддержку дополнительных форматов квантования.

  • Разделение metallib на 8 библиотек с их параллельной загрузкой для сокращения времени сборки.
  • Добавление операции col2im_1d, поддерживающей типы данных f32, f16 и bf16.
  • Реализация поддержки CONV_2D_DW (глубоковой свёртки) для Metal.
  • Добавление поддержки формата квантования Q2_0.
  • Объединение операций активации snake (mul, sin, sqr, mul, add).
  • Внедрение ядра FWHT для бэкенда Metal.

Этот выпуск предоставляет предварительно скомпилированные двоичные файлы для macOS, iOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и различных ускорителей.