Проект llama.cpp выпустил версию b10004, добавляющую полную поддержку f16 в качестве источника в операциях SET_ROWS для бэкендов Vulkan и CPU. Это обновление также включает дополнительные тесты бэкенда и специфические исправления для оборудования Intel.

  • Добавлена полная поддержка f16 SET_ROWS (эквивалентно f32) для бэкендов Vulkan и CPU.
  • Установлено значение DenormPreserve 16 при поддержке для устранения сбоев на процессорах Intel.
  • Настроены пороги ошибок и обновлена поддержка Metal supports_op.
  • Предоставлены двоичные файлы для macOS, Linux, Android, Windows и openEuler для бэкендов CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL и HIP.

Это обновление улучшает обработку точности в определенных операциях бэкенда и расширяет покрытие платформ за счет новых двоичных дистрибутивов.