github llama.cpp · только что · inference

llama.cpp b10408 добавляет ядро Q3_K ESIMD и переносит управление в рантайм

Переведено с English → Русский

Проект llama.cpp выпустил версию b10408, которая представляет ядро DMMV Q3_K ESIMD для графических процессоров Intel. Этот релиз также включает новые ядра Q4_K и Q6_K ESIMD и рефакторинг кодовой базы, позволяющий управлять ESIMD во время выполнения, а не на этапе компиляции.

Добавлены ядра DMMV Q3_K, Q4_K и Q6_K ESIMD.
Управление ESIMD перенесено из конфигурации на этапе компиляции в рантайм.
ESIMD используется по умолчанию при наличии, исправлены потенциальные ошибки с этим поведением по умолчанию.
Добавлены явные директивы разворачивания циклов для ядер ESIMD и очищен код ядер.

Обновление предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, Vulkan, OpenCL, ROCm и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 3 д назад

llama.cpp b10353 исправляет молчаливые неверные результаты в CUDA и Metal ROLL ядрах

Проект llama.cpp выпустил сборку b10353, которая устраняет критическую ошибку в операции ggml_roll на бэкендах CUDA и Metal. Ранее переставленные (непрерывные) исходные тензоры выдавали неверные результаты без предупреждения, поскольку эти бэкенды игнорировали информацию о шаге.

github llama.cpp · 6 д назад · 1 просмотр

llama.cpp b10321 исправляет NORM/RMS_NORM для частичных длин строк simdgroup

Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.

github llama.cpp · 7 д назад · 6 просмотров

llama.cpp b10293 добавляет CI для ROCm с gfx1151 и исправляет вывод на RDNA3.5

Проект llama.cpp выпустил сборку b10293, которая включает интеграцию непрерывной интеграции AMD ROCm для архитектуры gfx1151 и устраняет проблемы корректности на интегрированных GPU с архитектурой RDNA3.5.

github llama.cpp · 9 д назад · 3 просмотра

llama.cpp b10255 расширяет oneDNN SDPA для не-FP16 KV-кэшей

Релиз llama.cpp b10255 расширяет путь oneDNN SDPA для поддержки не-FP16 ключ-значения (KV) кэшей, включая форматы квантования Q4_0–Q8_0 и FP32. Это обновление позволяет слитому систолическому ядру выполняться идентично нативному пути FP16 за счёт деквантования или преобразования тензоров K/V в плотный FP16 на устройстве перед обработкой.

github llama.cpp · 10 д назад · 1 просмотр

llama.cpp b10246 перенаправляет большие q6_K lm_head в плоский GEMV

Проект llama.cpp выпустил версию b10246, которая включает исправление производительности OpenCL для определенных конфигураций моделей. Обновление устраняет проблему, при которой исходное условие размерности было недостаточным для обработки больших весов.