llama.cpp releases версию b9752 с перестройкой сервера, ориентированной на батч-создание, включая улучшенную обработку случаев заполнения батчей и исправления ошибок. В релизе представлены предварительно скомпилированные бинарники для macOS, Linux, Android, Windows и openEuler, поддерживающие различные архитектуры и ускорения, такие как CUDA, Vulkan, OpenVINO и SYCL.
llama.cpp release b9752: server refactor and cross-platform binaries
Переведено с English → Русский