github llama.cpp · 1 ч назад · inference

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Переведено с English → Русский

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

ggml-hexagon теперь принимает 1D и дополненные операции IM2COL.
Ядро pure-DDR IM2COL стало aware к 2D.
Быстрый путь IM2COL DMA patch-embed расширен до 1D.
Добавлено ядро blocked-staging general IM2COL DMA.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 12 ч назад · 1 просмотр

llama.cpp b11035 добавляет ядра IQ3_S MMQ matmul для Vulkan

Проект llama.cpp выпустил версию b11035, добавившую поддержку ядер умножения матриц IQ3_S MMQ в бэкенде Vulkan.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b11026 пропускает gate_up_exps для Qwen35MoE

Проект llama.cpp выпустил сборку b11026, которая вносит изменение, позволяющее пропускать gate_up_exps при установке флага TENSOR_SKIP. Эта модификация специально необходима для моделей Qwen35MoE, где MTP тензоры объединены, но не загружены.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.