llama.cpp выпускает версию b9752 с рефакторингом сервера, сосредоточенным на конструировании батчей, включая улучшенную обработку случаев полного заполнения батча и исправление ошибок. В релиз включены готовые бинарные файлы для macOS, Linux, Android, Windows и openEuler, поддерживающие различные архитектуры и фреймворки ускорения, такие как CUDA, Vulkan, OpenVINO и SYCL.