github llama.cpp · 1 ч назад · inference

llama.cpp b10238 добавляет поддержку MTP для Qwen3-Next

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.

Добавлена поддержка MTP для моделей Qwen3-Next в src/models/qwen3next.cpp.
Исправлено вычисление num_mtp непосредственно из слоев MTP и определено opt_num_mtp_layers в _QwenMtpMixin.
Разрешены проблемы с проверкой типов Python и обновлен gguf-py/gguf/constants.py.
Предоставлены бинарные файлы для macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Это обновление позволяет пользователям запускать модели Qwen3-Next с возможностями MTP на широком спектре аппаратных архитектур и операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10237 добавляет поддержку MTP для DeepSeek V3.2

Проект llama.cpp выпустил сборку b10237, которая вводит поддержку предсказания нескольких токенов (MTP) для модели DeepSeek V3.2.

github llama.cpp · 14 ч назад · 7 просмотров

llama.cpp b10232 реализует гиперсвязи DeepSeek V4 в Metal

Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.

github llama.cpp · 2 д назад · 9 просмотров

llama.cpp b10219 сохраняет reasoning_content в истории чата

Проект llama.cpp выпустил версию b10219, которая включает исправление для CLI, позволяющее сохранять содержимое рассуждений в истории чата. Ранее, хотя `llama-cli` собирал рассуждения из потока для отображения, он сохранял только контент ассистента в сообщениях, что не позволяло флагу `--reasoning-preserve` повторно внедрять предыдущие мысли в последующих ходах.

github llama.cpp · 3 д назад · 8 просмотров

llama.cpp b10213 добавляет поддержку квантования вращённого kv-кэша

Проект llama.cpp выпустил версию b10213, добавляющую поддержку квантования вращённого ключ-значения кэша. Это обновление доступно на широком спектре платформ и аппаратных ускорителей.

github llama.cpp · 3 д назад · 3 просмотра

llama.cpp b10212 загружает тензоры MTP только при использовании

Проект llama.cpp выпустил версию b10212, которая включает изменение: тензоры Multi-Token Prediction (MTP) теперь загружаются только в случае их фактического использования. Это обновление гарантирует, что тензоры MTP пропускаются при загрузке для остальных моделей, которые поддерживают эту функцию, но не нуждаются в ней.