github llama.cpp · 1 ч назад · inference

llama.cpp b11463 ускоряет префиллинг GLM MLA с помощью MKL flash attention

Переведено с English → Русский

Релиз llama.cpp b11463 включает обновление SYCL, которое включает поддержку MKL flash attention для специфичной формы Multi-Latent Attention (MLA) модели GLM-4.7 Flash, которая ранее отклонялась диспетчером.

Изменение допускает форму 576/576/512 GQA-20 F16 в конвейер MKL и обрабатывает V cache как страйдированное представление строк K.
Попытка сохранить оценки MKL flash attention в формате F16 для снижения трафика памяти была включена, но впоследствии отменена в этой сборке.
На Intel Arc Pro B70 оптимизация MLA улучшила обработку промпта (pp8192) с 432.80 до 1292.29 tok/s, что составляет ускорение в 2.99 раза.
Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, ROCm, Vulkan, OpenVINO и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 д назад · 27 просмотров

llama.cpp b11413 добавляет разреженное flash-внимание Vulkan для квантованных K/V

Релиз llama.cpp b11413 представляет новую реализацию разреженного flash-внимания на базе Vulkan, поддерживающую квантованные тензоры ключей и значений. Это обновление решает проблемы производительности в предыдущем методе компактификации, который был слишком затратным для задач декодирования с большими контекстными окнами.

github llama.cpp · 7 д назад · 44 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 10 д назад · 33 просмотра

llama.cpp b11207 добавляет поддержку GET_ROWS с тайлингом Q4_0 и Q8_0 для Hexagon

Проект llama.cpp выпустил сборку b11207, которая вводит поддержку операций GET_ROWS с тайлингом Q4_0 и Q8_0 на бэкенде Hexagon. Это обновление также включает исправления макросов, вытеснения регистров и конвейера DMA, а также улучшения логики выбора ядра и повторно включенную векторизацию.

github llama.cpp · 14 д назад · 47 просмотров

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.

github llama.cpp · 14 д назад · 53 просмотра

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.