github llama.cpp · 1 ч назад · inference

llama.cpp b10427 объединяет операции FFN SYCL для прироста пропускной способности до 12,4%

Переведено с English → Русский

Проект llama.cpp выпустил версию b10427, включающую оптимизацию производительности для видеокарт Intel Arc с помощью SYCL. Обновление реализует объединение операций gate, up и GLU в плотном слое прямой связи (FFN) q4_K.

Измерено на Arc Pro B70 с помощью llama-bench: пропускная способность увеличилась на 2,8% для qwen2.5-3B-Instruct и на 2,0% для gemma-2-2b-it.
Бенчмарки пакетного вывода на модели qwen2.5-3B показали значительный прирост: +3,4% при размере пакета 1, до +10,1% при B=2, +10,7% при B=4 и +12,4% при B=8.

В этом релизе предоставлены предварительно скомпилированные двоичные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, Vulkan, ROCm и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 13 ч назад · 1 просмотр

llama.cpp b10413 добавляет автоматическое определение типа спецификации черновика из метаданных GGUF

Проект llama.cpp выпустил версию b10413, которая вводит автоматическое обнаружение типа спецификации спекулятивного декодирования непосредственно из метаданных модели GGUF черновика.

github llama.cpp · 18 ч назад · 1 просмотр

llama.cpp b10410 убирает отдельное повышение типа fp32 в пути gemm non-oneDNN

Проект llama.cpp выпустил версию b10410, которая включает изменение кода для бэкенда SYCL. Это обновление убирает отдельное повышение типа fp32 в пути GEMM non-oneDNN и вместо этого использует автоматическое повышение fp16.

github llama.cpp · 19 ч назад · 4 просмотра

llama.cpp b10408 добавляет ядро Q3_K ESIMD и переносит управление в рантайм

Проект llama.cpp выпустил версию b10408, которая представляет ядро DMMV Q3_K ESIMD для графических процессоров Intel. Этот релиз также включает новые ядра Q4_K и Q6_K ESIMD и рефакторинг кодовой базы, позволяющий управлять ESIMD во время выполнения, а не на этапе компиляции.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10353 исправляет молчаливые неверные результаты в CUDA и Metal ROLL ядрах

Проект llama.cpp выпустил сборку b10353, которая устраняет критическую ошибку в операции ggml_roll на бэкендах CUDA и Metal. Ранее переставленные (непрерывные) исходные тензоры выдавали неверные результаты без предупреждения, поскольку эти бэкенды игнорировали информацию о шаге.

github llama.cpp · 7 д назад · 8 просмотров

llama.cpp b10321 исправляет NORM/RMS_NORM для частичных длин строк simdgroup

Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.