github llama.cpp · 1 ч назад · inference

llama.cpp b10246 перенаправляет большие q6_K lm_head в плоский GEMV

Переведено с English → Русский

Проект llama.cpp выпустил версию b10246, которая включает исправление производительности OpenCL для определенных конфигураций моделей. Обновление устраняет проблему, при которой исходное условие размерности было недостаточным для обработки больших весов.

Перенаправляет тензоры lm_head q6_K большого размера в плоский GEMV вместо gemv_noshuffle.
Добавляет прямое условие размера для предотвращения замедления работы с моделями вроде gemma-4 E2B, имеющими размерности [1536, 262144].
Предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Это изменение гарантирует эффективную обработку больших матриц весов на устройствах OpenCL без возникновения узких мест производительности.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 19 ч назад · 6 просмотров

llama.cpp b10236 реализует Metal DSv4 Lightning Indexer

Выпуск llama.cpp b10236 представляет реализацию Metal для DSv4 Lightning Indexer, специально поддерживающую входные данные размерностью 128 с запросами и весами F32, а также ключами и масками F16.

github llama.cpp · 3 д назад · 8 просмотров

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 5 д назад · 2 просмотра

llama.cpp b10181 отключает MMQ на устройствах с менее чем 48 КиБ общей памяти

Проект llama.cpp выпустил сборку b10181, которая включает исправление в ggml-cuda для отключения квантования матричного умножения (MMQ) на GPU с менее чем 48 КиБ разделяемой памяти на блок. Ранее конфигурации MMQ предполагали минимальный объем в 48 КиБ, что приводило к фатальным ошибкам на устройствах, таких как NVIDIA Pascal и Moore Threads MTT S70, где размер тайла превышал доступную память.

media Hugging Face Forums · 5 д назад

Hugging Face исправляет DynamicCache для предотвращения некорректного вывода в generate()

Ошибка в функции `generate()` от Hugging Face приводит к некорректным результатам, когда `past_key_values` представляет собой созданный вручную объект `DynamicCache`. Эта проблема затрагивает методы сжатия KV-кэша, такие как SnapKV, H2O и KIVI, которые восстанавливают кэш на основе данных префилла. Корневая причина заключается в отсутствии передачи позиционного контекста, что приводит к потере точности на 10,7 процентных пункта на модели Qwen3-VL-8B.

github llama.cpp · 6 д назад · 19 просмотров

llama.cpp b10165 добавляет поддержку iq4_nl и q1_0 для Vulkan FA

Проект llama.cpp выпустил сборку b10165, которая восстанавливает поддержку квантования iq4_nl для бэкенда Flash Attention (FA) на Vulkan. Это изменение решает проблему #23681, повторно включая функцию после того, как опасения по поводу использования общей памяти были признаны незначительными.