github llama.cpp · 12 ч назад · inference

llama.cpp b11035 добавляет ядра IQ3_S MMQ matmul для Vulkan

Переведено с English → Русский

Проект llama.cpp выпустил версию b11035, добавившую поддержку ядер умножения матриц IQ3_S MMQ в бэкенде Vulkan.

Обновление включает новые ядра IQ3_S MMQ matmul для Vulkan.
Block_a_to_shmem теперь выполняет загрузку 2 байт для оптимизации доступа к памяти.
Проверки выравнивания были скорректированы, поскольку IQ3_S использует размер тайла K.
Бинарные файлы доступны для macOS, Linux, Windows, Android и openEuler на платформах CPU, CUDA, ROCm, OpenVINO, SYCL и OpenCL.

Это обновление предоставляет новые бинарные файлы для различных операционных систем и аппаратных ускорителей, позволяя пользователям использовать новую поддержку квантования Vulkan.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b11026 пропускает gate_up_exps для Qwen35MoE

Проект llama.cpp выпустил сборку b11026, которая вносит изменение, позволяющее пропускать gate_up_exps при установке флага TENSOR_SKIP. Эта модификация специально необходима для моделей Qwen35MoE, где MTP тензоры объединены, но не загружены.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.