github llama.cpp · 1 ч назад · inference

llama.cpp b10210 исправляет принятые токены при повторном воспроизведении черновых токенов

Переведено с English → Русский

Проект llama.cpp выпустил версию b10210, которая включает исправление логики сервера для обработки принятых токенов при необходимости повторного воспроизведения черновых токенов.

Исправляет принятые токены в компоненте сервера при необходимости повторного воспроизведения черновых токенов.
Предоставляет предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64/arm64/s390x с CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
Включает пакет с графическим интерфейсом пользователя.

Это обновление обеспечивает точную обработку токенов в сценариях спекулятивного декодирования на всех поддерживаемых платформах.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад Live

llama.cpp b10212 загружает тензоры MTP только при использовании

Проект llama.cpp выпустил версию b10212, которая включает изменение: тензоры Multi-Token Prediction (MTP) теперь загружаются только в случае их фактического использования. Это обновление гарантирует, что тензоры MTP пропускаются при загрузке для остальных моделей, которые поддерживают эту функцию, но не нуждаются в ней.

github llama.cpp · 2 ч назад

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 4 ч назад

llama.cpp b10207 добавляет поддержку SYCL для отсутствующих типов в cpy

Проект llama.cpp выпустил версию b10207, которая включает pull request для добавления поддержки SYCL для ранее неподдерживаемых типов данных в операции cpy.

github llama.cpp · 6 ч назад

llama.cpp b10206 требует одинаковых типов кэшей K и V для моделей DeepSeek V4 и MLA

Проект llama.cpp выпустил версию b10206, которая вносит специфические изменения в обработку ключ-значительных кэшей в механизмах внимания. Обновление гарантирует, что типы кэшей K и V остаются согласованными для моделей DeepSeek V4.

github llama.cpp · 8 ч назад

Выпуск llama.cpp b10202 с объединением SYCL RMS_NORM

Проект llama.cpp выпустил версию b10202, в которой представлена оптимизация SYCL, объединяющая операции RMS_NORM и MUL.