github llama.cpp · 2 ч назад · inference

llama.cpp b11413 добавляет разреженное flash-внимание Vulkan для квантованных K/V

Переведено с English → Русский

Релиз llama.cpp b11413 представляет новую реализацию разреженного flash-внимания на базе Vulkan, поддерживающую квантованные тензоры ключей и значений. Это обновление решает проблемы производительности в предыдущем методе компактификации, который был слишком затратным для задач декодирования с большими контекстными окнами.

Новый подход разделяет строки на непрерывные сегменты, обрабатываемые подгруппами или потоками, используя подсчет голосований по объединенным загрузкам для поддержания списка индексов в возрастающем порядке.
Предварительно собранные бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, Vulkan, CUDA, OpenVINO, SYCL, ROCm), Android и iOS.
В релиз также входят интерфейс пользователя llama.cpp и аттестации для проверки безопасности.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 5 д назад · 37 просмотров

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 8 д назад · 30 просмотров

llama.cpp b11207 добавляет поддержку GET_ROWS с тайлингом Q4_0 и Q8_0 для Hexagon

Проект llama.cpp выпустил сборку b11207, которая вводит поддержку операций GET_ROWS с тайлингом Q4_0 и Q8_0 на бэкенде Hexagon. Это обновление также включает исправления макросов, вытеснения регистров и конвейера DMA, а также улучшения логики выбора ядра и повторно включенную векторизацию.

github llama.cpp · 12 д назад · 30 просмотров

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.

github llama.cpp · 12 д назад · 41 просмотр

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 13 д назад · 37 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.