github llama.cpp · 1 д назад · inference

llama.cpp b11026 пропускает gate_up_exps для Qwen35MoE

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11026, которая вносит изменение, позволяющее пропускать gate_up_exps при установке флага TENSOR_SKIP. Эта модификация специально необходима для моделей Qwen35MoE, где MTP тензоры объединены, но не загружены.

Релиз предоставляет бинарные файлы и фреймворки для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) и openEuler.

Это обновление обеспечивает совместимость с конкретными конфигурациями Qwen35MoE за счет корректной обработки объединенных, но не загруженных MTP тензоров.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b11044 обновляет hexagon im2col и выпускает бинарники

Проект llama.cpp выпустил версию b11044, которая включает обновление бэкенда hexagon для улучшения операций image-to-column (im2col). Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических процессоров и других аппаратных ускорителей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11045 добавляет поддержку операции ROLL для бэкенда Hexagon

Проект llama.cpp выпустил версию b11045, которая добавляет поддержку операции ROLL в бэкенде Hexagon.

github llama.cpp · 12 ч назад · 1 просмотр

llama.cpp b11035 добавляет ядра IQ3_S MMQ matmul для Vulkan

Проект llama.cpp выпустил версию b11035, добавившую поддержку ядер умножения матриц IQ3_S MMQ в бэкенде Vulkan.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.