github llama.cpp · 2 ч назад · inference

llama.cpp b10982 добавляет поддержку разреженного Flash Attention через Vulkan для DSV4/GLM

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10982, которая вводит поддержку разреженного Flash Attention через бэкенд Vulkan. Это обновление специально ориентировано на модели DSV4 и GLM, позволяя им использовать механизмы разреженного внимания на совместимом оборудовании GPU.

Добавлена поддержка разреженного Flash Attention для DSV4/GLM во внедрении Vulkan.
Включена оптимизированная логика реализации и добавлены тесты.
Исправлено недетерминированное поведение atomicAdd.
Добавлена поддержка векторов декодирования cm2 и привязка f16vec4 для векторов декодирования.
Упрощена логика и улучшена согласованность имён переменных.

Релиз предоставляет предварительно скомпилированные бинарные файлы для macOS, Linux, Windows, Android и openEuler через бэкенды CPU, CUDA, ROCm, OpenVINO, SYCL и Vulkan.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 2 просмотра

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 21 ч назад · 8 просмотров

llama.cpp 0.4.1 добавляет поддержку Maple 20B-A1B, Tencent Hy 4 и Spark2.5

Проект llama.cpp выпустил версию 0.4.1, добавив поддержку тернарной архитектуры Mixture of Experts Maple 20B-A1B на CPU, а также предварительную поддержку моделей Tencent Hy 4 и Spark2.5.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10951 перемещает llama_n_rs_seq перед llama_decode для избежания лишних вызовов

Проект llama.cpp выпустил версию b10951, включающую оптимизацию кода в логике декодирования. Вызов функции `llama_n_rs_seq` теперь выполняется перед `llama_decode`, что позволяет системе возвращаться напрямую, если проверка проходит успешно.

github llama.cpp · 3 д назад · 12 просмотров

llama.cpp b10930 позволяет скачивать модели при достижении лимита

Проект llama.cpp выпустил версию b10930, которая включает исправление для серверного компонента, позволяющее скачивать модели даже тогда, когда пользователь достиг своего лимита.

github llama.cpp · 3 д назад · 4 просмотра

Выпуск llama.cpp b10926 корректно обрабатывает неподдерживаемые квантования tq1_0

Проект llama.cpp выпустил версию b10926, которая включает исправление для корректной обработки неподдерживаемых квантований tq1_0 путем безопасного завершения работы. Это обновление решает проблему #28681, улучшая стабильность при работе с данным форматом квантования.