github llama.cpp · 1 д назад · inference

llama.cpp b11024 обновляет OpenVINO до версии 2026.4 и устраняет предупреждения

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11024, которая в основном обновляет интеграцию OpenVINO до версии 2026.4.

Обновляет ggml-openvino для использования OpenVINO 2026.4.
Устраняет предупреждения clangd и MSVC в бэкенде OpenVINO.
Исправляет проблемы приведения int к указателю, обеспечивает внутреннюю связь и избегает дублирования случаев switch.
Предоставляет двоичные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA, ROCm, SYCL), Windows (CPU, Vulkan, CUDA, OpenCL, ROCm, SYCL), Android и openEuler.

Это обновление обеспечивает совместимость с последним набором инструментов OpenVINO, одновременно устраняя предупреждения компилятора и проблемы внутренней согласованности кода.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b11042 добавляет бинарный ядро OpenCL A8 Q6_K

Проект llama.cpp выпустил версию b11042, которая представляет новое бинарное ядро OpenCL для моделей A8 Q6_K без MoE. Это обновление также включает исправления совместимости макета внутри бэкенда OpenCL.

github llama.cpp · 9 ч назад · 1 просмотр

llama.cpp b11039 добавляет поддержку паттерна SWA в model-saver и загрузчики

Проект llama.cpp выпустил сборку b11039, которая обновляет model-saver для записи паттернов скользящего окна внимания (SWA) и геометрии MLA SWA для всех моделей, использующих SWA. Изменение гарантирует, что `sliding_window_pattern` записывается как флаг на уровне каждого слоя, а не сводится к скаляру, сохраняя точное представление данных.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b11025 расширяет поддержку Nemotron MTP

Проект llama.cpp выпустил сборку b11025, которая включает расширение поддержки предсказания нескольких токенов Nemotron (MTP).

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.