github llama.cpp · 3 д назад · inference

llama.cpp b10833 добавляет слияние RMS нормализации Vulkan для ускорения на ~4% в gemma4

Переведено с English → Русский

Проект llama.cpp выпустил версию b10833, внедряющую оптимизации бэкенда Vulkan, которые сливают определенные операции нормализации для улучшения производительности вывода.

Поддержка слияния RMS_NORM + MUL + ADD (+ MUL) и RMS_NORM + VIEW + SET_ROWS в бэкенде Vulkan.
Расширение ROPE + VIEW + SET_ROWS для поддержки IMROPE.
Автор сообщает о приросте производительности примерно на 4% на моделях gemma4 в своей системе.

Это обновление предоставляет пользователям более быстрые скорости вывода для совместимых моделей, работающих на оборудовании с поддержкой Vulkan.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

DeepSeek выпустила DeepSeek-V4.1-Flash с контекстом 1M и FP4 KV-кэшем

Компания DeepSeek AI выпустила модель DeepSeek-V4.1-Flash, мультимодальную Mixture-of-Experts модель с контекстным окном на 1 миллион токенов и FP4 KV-кэшем, который сокращает глобальный размер кэша до 890 байт на токен. Модель использует причинно-следующую архитектуру кодировщика-декодировщика и Compressed Sparse Attention 2 (CSA2) для значительного снижения требований к памяти при сохранении производительности.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10889 избегает выделения V кэша для индексатора

Проект llama.cpp выпустил сборку b10889, которая включает оптимизацию памяти для избежания выделения V кэша для индексатора, поскольку он не используется.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10888 добавляет метки отладки командных буферов для профилировщиков GPU

Проект llama.cpp выпустил сборку b10888, которая включает новую функцию добавления меток отладки командных буферов для профилировщиков GPU во бэкенде Vulkan.

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10886 добавляет поддержку векторных встроенных функций Q1_0 для s390x

Проект llama.cpp выпустил сборку b10886, которая внедряет поддержку векторных встроенных функций Q1_0 для архитектуры s390x. Это обновление включает реализацию `ggml_vec_dot_q1_0_q8_0` и обновляет документацию, чтобы отразить новую возможность.

github llama.cpp · 18 ч назад · 1 просмотр

llama.cpp b10883 исправляет умножение матриц Vulkan и восстанавливает оптимизации Ampere

Проект llama.cpp выпустил сборку b10883, включающую значительные обновления бэкенда Vulkan. Основное изменение заключается в использовании спецификационных констант для операций умножения матрица-на-матрицу типа A с целью улучшения компиляции шейдеров и производительности.