github llama.cpp · 1 ч назад · inference

llama.cpp b11377 учитывает json_schema в парсере Ling 3.0

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11377, которая обновляет чат-парсер Ling 3.0 для корректной обработки ограничений `json_schema`.

Ранее грамматика Ling 3.0 поддерживала только вызовы инструментов и оставляла запросы `response_format` без ограничений. В этом релизе добавлен приоритетный путь грамматики формата ответа, который имеет приоритет над инструментами.

Обновление требует блока `<think>` перед выводом JSON, когда включено размышление, и предотвращает появление текста после JSON-ответа, исправляя проблему #29652.

Эта сборка включает бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11375 исправляет прерывания перераспределения графа при GGML_SCHED_NO_REALLOC

Проект llama.cpp выпустил сборку b11375, которая устраняет критическую проблему, при которой неконгруэнтные ячейки ubatch вызывали перераспределение графа, приводившее к аварийному завершению при установленном флаге GGML_SCHED_NO_REALLOC.

github llama.cpp · 3 ч назад · 1 просмотр

ggml-openvino обновлён до версии 2026.4.1 с объединением MoE и исправлениями перечисления устройств

Бэкенд ggml-openvino для llama.cpp был обновлён до версии 2026.4.1, что привнесло оптимизации производительности, расширенную поддержку операторов и улучшенное перечисление устройств.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b11372 вдвое снижает потребление памяти индексатора qwen4exp и добавляет поддержку CUDA для 4 голов

Релиз llama.cpp b11372 вводит оптимизации для молниеносного индексатора модели qwen4exp, прежде всего сокращая вдвое память, необходимую для вычисления оценок индекса при обработке длинного контекста. Это достигается за счёт вычисления оценок голов на месте, а не создания отдельных тензоров для каждой головы.

github llama.cpp · 10 ч назад · 2 просмотра

llama.cpp b11370 объединяет общие экспертные модули в MMVQ

Проект llama.cpp выпустил сборку b11370, которая включает оптимизацию CUDA для объединения общих экспертных модулей в архитектуру Смешивания MoE с Векторной Квантованием (MMVQ). Это изменение является частью pull request #29184 и также решает вопросы проверки буферов на null и обработки аргументов для stride_col_dst.

github llama.cpp · 13 ч назад · 2 просмотра

llama.cpp b11368 добавляет вероятностную выборку для простого черновика и MTP

Проект llama.cpp выпустил сборку b11368, которая вводит вероятностную выборку для рабочих процессов простого черновика и MTP (Multi-Token Prediction). Это обновление изменяет механизм черновика, чтобы использовать вероятностный отбор при проверке целей через отклоняющую выборку.