github llama.cpp · 1 ч назад · inference

llama.cpp b10322 объединяет загрузки окон SSM_CONV для ускорения ~1.85x

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10322, которая включает оптимизацию производительности, объединяющую загрузки окон SSM_CONV в бэкенде SYCL.

На Arc Pro B70 чередующиеся тесты A/B показали ускорение от 1.85x до 1.87x для определенных форм тензоров, с пренебрежимо малыми изменениями при n_t=1.
Бенчмарки на моделях Qwen35 27B Q4_K - Medium, использующих ssm_conv в 48 из 64 блоков, показали улучшение времени обработки запроса на +2.2%.
Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Это обновление улучшает пропускную способность вывода для рабочих нагрузок, использующих операции SSM_CONV на совместимом оборудовании.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b10326 учитывает проход вокодера в таймингах

Проект llama.cpp выпустил сборку b10326, которая изменяет способ расчета измерений времени за счет включения прохода вокодера.

github llama.cpp · только что Live

llama.cpp b10321 исправляет NORM/RMS_NORM для частичных длин строк simdgroup

Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.

github llama.cpp · 3 ч назад

llama.cpp b10313 добавляет LRU-планировщик в сервер

Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.

github llama.cpp · 4 ч назад

llama.cpp b10311 исправляет дублирование текстового потока Qwen3-TTS

Проект llama.cpp выпустил сборку b10311, которая включает исправление для конвейера Qwen3-TTS. Обновление устраняет проблему, при которой модель дважды читала входную фразу во время генерации.

github llama.cpp · 4 ч назад

Выпуск llama.cpp b10312 с исправлением сервера для загруженных моделей

Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.