github llama.cpp · 2 д назад · inference

llama.cpp включает xmem GEMM и обходит tiled f32 на GPU Adreno

Переведено с English → Русский

Проект llama.cpp обновил свой бэкенд OpenCL для улучшения производительности умножения матриц на двух поколениях GPU Adreno. Изменения в первую очередь ориентированы на поколение X2E, по умолчанию активируя путь GEMM xmem F16xF32 и оптимизируя обработку для поколения A7X.

По умолчанию включён GEMM xmem F16xF32 Adreno для устройств X2E, которые ранее требовали установки переменной окружения opt-in.
Обход tiled f32 GEMM на компиляторе Adreno A7X путём маршрутизации пакетных операций к ядру на строку для избежания проблем с переполнением регистров.
Оптимизация xmem обеспечивает ускорение префиллинга примерно на 25% для gpt-oss-20b на устройствах Adreno X2-90, в то время как обход A7X даёт улучшение около 9% для gemma-3n-E4B.

Эти оптимизации устраняют специфические неэффективности компилятора в старом и новом кремнии Adreno, сокращая время GPU, затрачиваемое на медленные ядра matmul во время фаз префиллинга модели.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 3 д назад · 9 просмотров

llama.cpp b10670 направляет декодирование квантованного KV на TILE для Xe2 (BMG)

Проект llama.cpp выпустил версию b10670, которая включает специфическую оптимизацию для архитектуры Intel Xe2. Обновление перенаправляет операцию декодирования квантованных ключей и значений (KV) исключительно на бэкенд TILE для оборудования BMG, сохраняя бэкенд VEC для других архитектур до их валидации.

github llama.cpp · 4 д назад · 23 просмотра

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 4 д назад · 15 просмотров

llama.cpp b10653 добавляет TENSOR_READ_LAZY для загрузки моделей

Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.

github llama.cpp · 10 д назад · 12 просмотров

llama.cpp b10568 использует ggml_rope_set_offset() для DeepSeek 2

Проект llama.cpp выпустил сборку b10568, которая обновляет обработку моделей для использования функции `ggml_rope_set_offset()`. Это изменение частично применяется для поддержки DeepSeek 2.