llama.cpp выпускает версию b9757 с обновленными бинарными файлами для macOS, Linux, Android, Windows и openEuler. В этом релизе удалено безусловное применение softmax+sort в семплере top-n-sigma, что повышает эффективность семплирования. Новые сборки поддерживают Vulkan, OpenVINO, SYCL, ROCm и CUDA на нескольких архитектурах, включая Apple Silicon и ARM64.
llama.cpp Release b9757: Новые бинарные файлы и функции
Переведено с English → Русский