github llama.cpp · 1 д назад · inference

llama.cpp b11025 расширяет поддержку Nemotron MTP

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11025, которая включает расширение поддержки предсказания нескольких токенов Nemotron (MTP).

Обновление содержит первое исправление для этой функции и удаляет ненужные объявления.
Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.
Также доступна для загрузки автономная сборка пользовательского интерфейса.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b11042 добавляет бинарный ядро OpenCL A8 Q6_K

Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b11039 добавляет поддержку паттерна SWA в model-saver и загрузчики

Проект llama.cpp выпустил сборку b11039, которая обновляет model-saver для записи паттернов скользящего окна внимания (SWA) и геометрии MLA SWA для всех моделей, использующих SWA. Изменение гарантирует, что `sliding_window_pattern` записывается как флаг на уровне каждого слоя, а не сводится к скаляру, сохраняя точное представление данных.

github llama.cpp · 1 д назад · 6 просмотров

llama.cpp b11024 обновляет OpenVINO до версии 2026.4 и устраняет предупреждения

Проект llama.cpp выпустил сборку b11024, которая в основном обновляет интеграцию OpenVINO до версии 2026.4.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.