github llama.cpp · 2 ч назад · inference

llama.cpp b10568 использует ggml_rope_set_offset() для DeepSeek 2

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10568, которая обновляет обработку моделей для использования функции `ggml_rope_set_offset()`. Это изменение частично применяется для поддержки DeepSeek 2.

В релиз входят бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows, Android и openEuler.
Поддерживаемые бэкенды включают CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL, CUDA 12/13 и OpenCL Adreno.
macOS Apple Silicon с KleidiAI и Ubuntu x64 с ROCm 7.14 в данной сборке в настоящее время отключены.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

llama.cpp b10541 добавляет аргумент --mmproj-device для мультимодальных проектов

Проект llama.cpp выпустил сборку b10541, вводя аргумент командной строки `--mmproj-device`, позволяющий пользователям указывать бэкенд устройства для загрузки файлов мультимодальной проекции.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10532 добавляет деквантование Metal KV для Flash Attention

Проект llama.cpp выпустил версию b10532, вводя этап предварительной обработки на бэкенде Metal, который деквантует квантованные ключ-значения (KV) кэши до F16 перед выполнением Flash Attention.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10517 добавляет оптимизации деquant для Vulkan FA и исправления

Проект llama.cpp выпустил сборку b10517, внедряя несколько улучшений, специфичных для Vulkan, в путь деквантования flash attention (FA). Ключевые изменения включают деквантование q8_0 KV один раз в coopmat1, пропуск пути FA dequant на coopmat2 и исключение Intel Xe1 из пути FA dequant.

github llama.cpp · 21 д назад · 38 просмотров

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 30 д назад · 26 просмотров

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.