github llama.cpp · 5 ч назад · inference

llama.cpp b11042 добавляет бинарный ядро OpenCL A8 Q6_K

Переведено с English → Русский

Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.

Добавлено ядро OpenCL `kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin`.
Исправлены проблемы совместимости макета в реализации OpenCL.
Предоставлены двоичные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL) и openEuler.

Это расширение поддержки оборудования для конкретных форматов квантования на устройствах OpenCL при сохранении широкой совместимости между основными операционными системами и архитектурами GPU.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b11039 добавляет поддержку паттерна SWA в model-saver и загрузчики

Проект llama.cpp выпустил сборку b11039, которая обновляет model-saver для записи паттернов скользящего окна внимания (SWA) и геометрии MLA SWA для всех моделей, использующих SWA. Изменение гарантирует, что `sliding_window_pattern` записывается как флаг на уровне каждого слоя, а не сводится к скаляру, сохраняя точное представление данных.

github llama.cpp · 1 д назад · 6 просмотров

llama.cpp b11024 обновляет OpenVINO до версии 2026.4 и устраняет предупреждения

Проект llama.cpp выпустил сборку b11024, которая в основном обновляет интеграцию OpenVINO до версии 2026.4.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b11025 расширяет поддержку Nemotron MTP

Проект llama.cpp выпустил сборку b11025, которая включает расширение поддержки предсказания нескольких токенов Nemotron (MTP).

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.