github llama.cpp · 1 ч назад · inference

llama.cpp b10098 обновляет операции активации Hexagon

Переведено с English → Русский

Проект llama.cpp выпустил версию b10098, которая включает обновление операций активации Hexagon. Этот релиз предоставляет бинарные файлы для macOS, Linux, Android, Windows и openEuler на различных CPU и GPU бэкендах.

Оптимизирован универсальный микрокод geglu (hex-geglu)
Включена неконтейнерная память источника и страйдный DMA для hex-geglu
Включена неконтейнерная память источника и страйдный DMA для остальных операций ACT
Обобщены функции GLU на поток через макрос DEFINE_GLU_PER_THREAD
Перемещены UNARY_SILU и UNARY_GELU в unary-ops
Заменено использование общего контекста ops_context scratchpad на локальную вычислительную структуру htp_vtcm_layout

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

lab Hugging Face Blog · 14 ч назад · 1 просмотр

Diffusers добавляет нативную поддержку вывода Nunchaku Lite с 4-битным квантованием

Hugging Face Diffusers теперь поддерживает загрузку контрольных точек Nunchaku Lite напрямую через `from_pretrained()`, что устраняет необходимость в отдельном движке вывода или локальной компиляции CUDA. Эта интеграция использует метод SVDQuant для выполнения слоёв трансформера с 4-битными весами и активациями (W4A4), что значительно снижает потребление памяти и одновременно повышает скорость вывода.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

github llama.cpp · 2 д назад

llama.cpp b10085 исправляет привязку Qwen3-VL за счёт выравнивания интерполяции позиционных встраиваний

Проект llama.cpp выпустил сборку b10085, которая включает исправление интерполяции позиционных встраиваний для модели зрения Qwen3-VL с целью устранения несоответствий координат привязки.

github llama.cpp · 4 д назад · 2 просмотра

llama.cpp b10069 добавляет поддержку широковещательной передачи OpenCL для Adreno MUL_MAT

Проект llama.cpp выпустил сборку b10069, которая включает специфические обновления OpenCL для графических процессоров Qualcomm Adreno. Основное изменение заключается в поддержке операций широковещательной передачи для ядра Adreno MUL_MAT и учете смещений представления для варианта Q8_0 MUL_MAT, что позволяет включить многопоточную функциональность в llama-server.

github llama.cpp · 5 д назад · 1 просмотр

llama.cpp b10068 вращает внедрённый K/V кэш для DFlash

Проект llama.cpp выпустил версию b10068, которая вносит изменения в реализацию модели DFlash. Обновление изменяет src/models/dflash.cpp, чтобы вращать внедрённый ключ/значение (K/V) кэш при использовании K/V квантования.