github llama.cpp · 1 ч назад · inference

llama.cpp b10213 добавляет поддержку квантования вращённого kv-кэша

Переведено с English → Русский

Проект llama.cpp выпустил версию b10213, добавляющую поддержку квантования вращённого ключ-значения кэша. Это обновление доступно на широком спектре платформ и аппаратных ускорителей.

macOS Apple Silicon (arm64) и Intel (x64)
iOS через XCFramework
Linux Ubuntu x64 и arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 и arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 и aarch64 (ACL Graph)

Релиз включает бинарные файлы основного приложения, а также отдельный пакет пользовательского интерфейса.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10212 загружает тензоры MTP только при использовании

Проект llama.cpp выпустил версию b10212, которая включает изменение: тензоры Multi-Token Prediction (MTP) теперь загружаются только в случае их фактического использования. Это обновление гарантирует, что тензоры MTP пропускаются при загрузке для остальных моделей, которые поддерживают эту функцию, но не нуждаются в ней.

github llama.cpp · 3 ч назад

llama.cpp b10210 исправляет принятые токены при повторном воспроизведении черновых токенов

Проект llama.cpp выпустил версию b10210, которая включает исправление логики сервера для обработки принятых токенов при необходимости повторного воспроизведения черновых токенов.

github llama.cpp · 4 ч назад

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 6 ч назад

llama.cpp b10207 добавляет поддержку SYCL для отсутствующих типов в cpy

Проект llama.cpp выпустил версию b10207, которая включает pull request для добавления поддержки SYCL для ранее неподдерживаемых типов данных в операции cpy.

github llama.cpp · 8 ч назад

llama.cpp b10206 требует одинаковых типов кэшей K и V для моделей DeepSeek V4 и MLA

Проект llama.cpp выпустил версию b10206, которая вносит специфические изменения в обработку ключ-значительных кэшей в механизмах внимания. Обновление гарантирует, что типы кэшей K и V остаются согласованными для моделей DeepSeek V4.