github llama.cpp · 3 ч назад · inference

llama.cpp b11043 позволяет использовать HMX flash-attention с head_dim=72

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11043, которая включает изменение в реализации HMX flash-attention. Это обновление поддерживает размеры голов, не кратные 64, в частности позволяя конфигурации вроде SigLIP's head_dim=72.

Ядро HMX flash-attention теперь работает с DK/DV, округленными до 64, с нулевыми заполненными хвостовыми полосами.
Предварительно собранные бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.

Это изменение позволяет пользователям запускать модели с нестандартными размерами голов на поддерживаемом оборудовании без проблем совместимости.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b11042 добавляет бинарный ядро OpenCL A8 Q6_K

Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b11039 добавляет поддержку паттерна SWA в model-saver и загрузчики

Проект llama.cpp выпустил сборку b11039, которая обновляет model-saver для записи паттернов скользящего окна внимания (SWA) и геометрии MLA SWA для всех моделей, использующих SWA. Изменение гарантирует, что `sliding_window_pattern` записывается как флаг на уровне каждого слоя, а не сводится к скаляру, сохраняя точное представление данных.