Проект llama.cpp выпустил версию b9966, содержащую оптимизацию производительности для шаблонов регулярных выражений tensor-split. Функция `llama_meta_device_get_split_state()` ранее перекомпилировала 29 объектов `std::regex` при каждом вызове, что доминировало в потоке декодирования при профилировании в режиме -sm.
- Пометка этих шаблонов как static const гарантирует их компиляцию только один раз, повышая эффективность без изменения поведения.
- Доступны сборки для macOS Apple Silicon (arm64), но поддержка KleidiAI отключена.
- Предоставлены бинарные файлы Linux для Ubuntu x64 и arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO и SYCL FP32/FP16.
- Включены сборки Android arm64 (CPU).
- Релизы Windows охватывают CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и HIP.
- Поддержка openEuler частично отключена, доступны сборки x86 и aarch64 для конкретного оборудования.
Это обновление предоставляет оптимизированные бинарные файлы для нескольких платформ и ускорителей, устраняя узкие места производительности при разделении тензоров.