github llama.cpp · 2 д назад · inference

llama.cpp b11013 исправляет выравнивание buffer_reference в шейдерах im2col для Vulkan

Переведено с English → Русский

Релиз llama.cpp b11013 устраняет ошибку валидации в Vulkan, исправляя выравнивание buffer_reference в шейдерах im2col и im2col_3d. Исправление решает проблему #28960, выравнивая шаг указателя по фактическим размерам записи, что исключает срабатывания GPU-AV.

Исправляет VUID-RuntimeSpirv-PhysicalStorageBuffer64-06315, вызванный несовместимым выравниванием записей в im2col.comp и im2col_3d.comp.
Устанавливает buffer_reference_align = D_SIZE для соответствия определению на основе варианта для float (4) и float16_t (2).
Снижает количество срабатываний валидации с 20 до 0 как для операций IM2COL, так и IM2COL_3D.

Это изменение обеспечивает корректное поведение валидации Vulkan для GPU-ускоренного вывода на поддерживаемых платформах.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b11043 позволяет использовать HMX flash-attention с head_dim=72

Проект llama.cpp выпустил сборку b11043, которая включает изменение в реализации HMX flash-attention. Это обновление поддерживает размеры голов, не кратные 64, в частности позволяя конфигурации вроде SigLIP's head_dim=72.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b11042 добавляет бинарный ядро OpenCL A8 Q6_K

Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.