github llama.cpp · 1 ч назад · inference

llama.cpp b10251 добавляет поддержку MTP для GLM-4.7-Flash

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10251, которая добавляет поддержку многозадачного предсказания (MTP) для модели GLM-4.7-Flash.

Этот релиз включает бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL бэкендами), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler (ACL Graph).

Сборка KleidiAI для macOS Apple Silicon была отключена в этой версии.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10238 добавляет поддержку MTP для Qwen3-Next

Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.

github llama.cpp · 20 ч назад · 5 просмотров

llama.cpp b10237 добавляет поддержку MTP для DeepSeek V3.2

Проект llama.cpp выпустил сборку b10237, которая вводит поддержку предсказания нескольких токенов (MTP) для модели DeepSeek V3.2.

github llama.cpp · 1 д назад · 7 просмотров

llama.cpp b10232 реализует гиперсвязи DeepSeek V4 в Metal

Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.

github llama.cpp · 2 д назад · 9 просмотров

llama.cpp b10219 сохраняет reasoning_content в истории чата

Проект llama.cpp выпустил версию b10219, которая включает исправление для CLI, позволяющее сохранять содержимое рассуждений в истории чата. Ранее, хотя `llama-cli` собирал рассуждения из потока для отображения, он сохранял только контент ассистента в сообщениях, что не позволяло флагу `--reasoning-preserve` повторно внедрять предыдущие мысли в последующих ходах.

github llama.cpp · 3 д назад · 8 просмотров

llama.cpp b10213 добавляет поддержку квантования вращённого kv-кэша

Проект llama.cpp выпустил версию b10213, добавляющую поддержку квантования вращённого ключ-значения кэша. Это обновление доступно на широком спектре платформ и аппаратных ускорителей.