github llama.cpp · 3 д назад · inference

llama.cpp b10934 реализует common_schema для JSON-схем

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10934, которая внедряет внутреннее представление `common_schema` для JSON-схем. Это обновление включает создание типов `common_schema` и оптимизатора JSON-схем для более эффективной обработки разрешения схем.

Реализация типов `common_schema` и логики разрешения типов/видов.
Внедрение оптимизатора JSON-схем и рефакторинг json-schema-to-grammar для использования новой структуры common schema.
Переименование `common_schema_parse` в `common_schema_from_json` и методов сборки с `parse_*` на `build_*`.
Обработка пустых параметров инструментов, пустого `$ref`, а также обеспечение того, что `{}` означает любой объект для `json_object`.
Восстановление `(min|max)Length` для указания строкового типа и перемещение перечислений под `common_schema`.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), Android и iOS XCFrameworks.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10984 добавляет поддержку CUDA для SUM_ROWS с непрерывным расположением строк

Проект llama.cpp выпустил версию b10984, добавляющую поддержку CUDA для операций SUM_ROWS с непрерывным расположением строк. Это обновление также организует код для включения GGML_OP_MEAN для обработки тензоров с непрерывным расположением строк через общее ядро.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10985 ограничивает RPC hash-кэш только весами

Проект llama.cpp выпустил сборку b10985, которая изменяет RPC-бэкенд, чтобы ограничить хеш-кэширование исключительно тензорами весов. Это изменение решает проблему, когда данные активации ненужно хешировались и сохранялись, что приводило к чрезмерному использованию диска.

github llama.cpp · 3 ч назад · 4 просмотра

llama.cpp b10982 добавляет поддержку разреженного Flash Attention через Vulkan для DSV4/GLM

Проект llama.cpp выпустил сборку b10982, которая вводит поддержку разреженного Flash Attention через бэкенд Vulkan. Это обновление специально ориентировано на модели DSV4 и GLM, позволяя им использовать механизмы разреженного внимания на совместимом оборудовании GPU.

github llama.cpp · 4 ч назад · 2 просмотра

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp добавляет ядра Metal FA для HSK=96, HSV=64 MiniCPM3

Проект llama.cpp добавил поддержку ядра Flash Attention (FA) для конкретной конфигурации, используемой в MiniCPM3 на Apple Silicon. Это изменение устраняет сбой, при котором флаг `-fa auto` завершался ошибкой из-за отсутствия инициализации ядра для длины ключа внимания 96 и длины значения 64.