github llama.cpp · только что · inference

llama.cpp b10672 добавляет поддержку Whisper.cpp, включение NPU для Qwen3.5 и обновление OpenVINO 2026.3.1

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10672, которая обновляет бэкенд OpenVINO до версии 2026.3.1 и добавляет поддержку моделей Whisper.cpp на NPU.

Бэкенд OpenVINO теперь объединяет свёртки IM2COL + MatMul в одну операцию свёртки OpenVINO.
Модели Qwen3.5 включены для выполнения на NPU через обновлённый бэкенд.
В бэкенде OpenVINO добавлена поддержка новых операций, включая RELU, POOL_2D, QUICK_GEGLU и ROLL.
Исправлена обработка статических форм для устранения проблем с распространением динамического измерения слотов и независимостью от количества токенов.
Исправлена логика чанкового префилла, чтобы предотвращать постоянное включение дополненных токенов в рекуррентный кэш.
Добавлена новая переменная окружения GGML_OPENVINO_NPU_COMPILE_CONFIG, позволяющая пользователям настраивать параметры компиляции NPU, такие как optimization-level=3.

Это обновление улучшает производительность вывода и совместимость моделей для пользователей OpenVINO, особенно тех, кто использует Intel NPUs.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b10670 направляет декодирование квантованного KV на TILE для Xe2 (BMG)

Проект llama.cpp выпустил версию b10670, которая включает специфическую оптимизацию для архитектуры Intel Xe2. Обновление перенаправляет операцию декодирования квантованных ключей и значений (KV) исключительно на бэкенд TILE для оборудования BMG, сохраняя бэкенд VEC для других архитектур до их валидации.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp добавляет настройки fa-vec для Apple M3 Max, M5 и M5 Pro

Проект llama.cpp добавил записи настроек быстрого вектора внимания (fa-vec) для графических процессоров Apple M3 Max, M5 и M5 Pro с целью повышения производительности Metal.

github llama.cpp · 15 ч назад · 3 просмотра

llama.cpp b10665 добавляет поддержку DSpark для Nemotron3.5

Проект llama.cpp выпустил сборку b10665, которая вводит поддержку DSpark для модели Nemotron3.5.

github llama.cpp · 18 ч назад · 7 просмотров

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 1 д назад · 8 просмотров

llama.cpp b10653 добавляет TENSOR_READ_LAZY для загрузки моделей

Проект llama.cpp выпустил сборку b10653, внедряющую функцию TENSOR_READ_LAZY в загрузчик моделей. Это изменение включает добавление функции TENSOR_GET_ROW_LAZY и соответствующего флага командной строки --tensor-read-lazy.