github llama.cpp · 1 ч назад · inference

Выпуск llama.cpp b10926 корректно обрабатывает неподдерживаемые квантования tq1_0

Переведено с English → Русский

Проект llama.cpp выпустил версию b10926, которая включает исправление для корректной обработки неподдерживаемых квантований tq1_0 путем безопасного завершения работы. Это обновление решает проблему #28681, улучшая стабильность при работе с данным форматом квантования.

Выпуск предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, ROCm 10.0, OpenVINO и SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 10.0) и архитектур openEuler.

Это обновление гарантирует, что пользователи могут продолжать использовать llama.cpp без сбоев при использовании моделей, применяющих схему квантования tq1_0.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10921 выравнивает привязки тензоров WebGPU по размеру блока

Проект llama.cpp выпустил сборку b10921, которая включает исправление для WebGPU путем выравнивания привязок тензоров по размеру блока типа. Это изменение гарантирует, что представления с блочным квантованием получают корректное смещение элемента в шейдере, проходя назад по смещению привязки до тех пор, пока расстояние до тензора не станет целым числом блоков.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10906 исправляет спекуляцию после изображения в сервере

Проект llama.cpp выпустил версию b10906, которая включает исправление для компонента сервера, касающегося спекулятивного декодирования после ввода изображений. Изменение гарантирует, что фактическая позиция передается драфтеру вместо количества токенов, что влияет на всех драфтеров, а не только на DFlash.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10899 добавляет оптимизации Vulkan для Qwen и поддержку split_k

Проект llama.cpp выпустил версию b10899, внедряя специфические улучшения производительности в свой бэкенд Vulkan. Обновление сосредоточено на оптимизации матричных операций для семейства моделей Qwen и улучшении общей производительности при малых значениях M.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b10896 исправляет сбой декодирования DFlash для моделей с зрением

Проект llama.cpp выпустил сборку b10896, которая устраняет критическую проблему, при которой память драфтера не могла выделять новые токены при использовании DFlash с моделями с зрением. Этот сбой происходил из-за того, что изображения сообщали фиксированное смещение, препятствуя правильному выделению токенов.

github llama.cpp · 4 д назад · 2 просмотра

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".