github llama.cpp · только что · inference

llama.cpp b10236 реализует Metal DSv4 Lightning Indexer

Переведено с English → Русский

Выпуск llama.cpp b10236 представляет реализацию Metal для DSv4 Lightning Indexer, специально поддерживающую входные данные размерностью 128 с запросами и весами F32, а также ключами и масками F16.

Обновление включает тайловые и хвостовые ядра для обработки длин KV вблизи границ 8 и 64 элементов.
K тайлы загружаются и декодируются в памяти threadgroup F16 перед загрузкой матриц simdgroup, поддерживая форматы F32, F16, BF16 и различные форматы квантования.
Бенчмарки показывают улучшенную пропускную способность префиллинга (pp512) при длинах последовательностей 10k, 20k и 30k токенов по сравнению с предыдущими версиями.

Эта оптимизация улучшает производительность вывода на устройствах Apple Silicon за счёт улучшения шаблонов доступа к памяти для Lightning Indexer.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 3 д назад · 8 просмотров

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 5 д назад · 1 просмотр

llama.cpp b10181 отключает MMQ на устройствах с менее чем 48 КиБ общей памяти

Проект llama.cpp выпустил сборку b10181, которая включает исправление в ggml-cuda для отключения квантования матричного умножения (MMQ) на GPU с менее чем 48 КиБ разделяемой памяти на блок. Ранее конфигурации MMQ предполагали минимальный объем в 48 КиБ, что приводило к фатальным ошибкам на устройствах, таких как NVIDIA Pascal и Moore Threads MTT S70, где размер тайла превышал доступную память.

media Hugging Face Forums · 5 д назад

Hugging Face исправляет DynamicCache для предотвращения некорректного вывода в generate()

Ошибка в функции `generate()` от Hugging Face приводит к некорректным результатам, когда `past_key_values` представляет собой созданный вручную объект `DynamicCache`. Эта проблема затрагивает методы сжатия KV-кэша, такие как SnapKV, H2O и KIVI, которые восстанавливают кэш на основе данных префилла. Корневая причина заключается в отсутствии передачи позиционного контекста, что приводит к потере точности на 10,7 процентных пункта на модели Qwen3-VL-8B.

github llama.cpp · 6 д назад · 19 просмотров

llama.cpp b10165 добавляет поддержку iq4_nl и q1_0 для Vulkan FA

Проект llama.cpp выпустил сборку b10165, которая восстанавливает поддержку квантования iq4_nl для бэкенда Flash Attention (FA) на Vulkan. Это изменение решает проблему #23681, повторно включая функцию после того, как опасения по поводу использования общей памяти были признаны незначительными.

github llama.cpp · 6 д назад

llama.cpp b10164 добавляет чанковую SSD-матрицу для ускорения префилла Mamba-2

Проект llama.cpp выпустил версию b10164, представляющую новую реализацию чанкового умножения матриц SSD, предназначенную для ускорения фазы префилла моделей Mamba-2.