github llama.cpp · 3 д назад · inference

llama.cpp b11216 добавляет ядра SYCL FWHT для ширин блоков свыше 512

Переведено с English → Русский

Релиз llama.cpp b11216 вводит ядра быстрого преобразования Уолша-Адамара (FWHT) в бэкенде SYCL, которые поддерживают ширины блоков более 512. Ранее для больших ширин происходил переход к плотному GEMM со сложностью O(n^2); это изменение обеспечивает производительность O(n log n) для таких размеров.

Новая реализация `fwht_kernel_wide` выполняет одну строку на рабочую группу и использует локальную память и регистры для оптимизации бабочковых операций.
Поддерживаются ширины блоков 1024, 2048, 4096 и 8192 с помощью конструкции Кронекера/Палея.
Релиз включает бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU и NPU.
Проверка была выполнена с использованием автономного инструмента на устройстве SYCL CPU Intel oneAPI DPC++ 2026.1, подтвердив корректность по сравнению с эталонной реализацией.

Это обновление повышает вычислительную эффективность для больших размеров блоков в средах SYCL, сохраняя совместимость с существующими конфигурациями оборудования.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 20 ч назад · 2 просмотра

llama.cpp b11266 загружает матрицу F32 A по 2 элемента за раз для Vulkan на Intel

Проект llama.cpp выпустил сборку b11266, которая включает оптимизацию Vulkan, загружающую матрицы F32 A по два элемента за раз, когда они выровнены по границе 2. Это изменение решает проблемы производительности на оборудовании Intel, где последовательная загрузка чисел с плавающей точкой неэффективна, а также исправляет отсутствующую проверку выравнивания `a_offset` в исходном патче.

github llama.cpp · 22 ч назад · 1 просмотр

llama.cpp b11265 исправляет выбор тайлов MOE matmul в Vulkan

Выпуск llama.cpp b11265 включает исправление обработки моделей Mixture of Experts (MoE) бэкендом Vulkan. Обновление корректирует, как `mat_mul_id` выбирает тайлы матричного умножения, устраняя проблему производительности, при которой рабочие потоки оставались простаивать во время диспетчеризации.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11238 добавляет ggml_pad_ext для левого дополнения и пропускает отводы DFlash2

Проект llama.cpp выпустил сборку b11238, внедрив унифицированную реализацию левого дополнения через новую функцию `ggml_pad_ext`. Это изменение объединяет предыдущие методы, используемые аудиоэнкодерами, такими как Parakeet, LFM2-Audio, Granite Speech и Gemma 4, обеспечивая битово идентичные эмбеддинги для Gemma 4 и одновременно упрощая поддержку бэкендов.

github llama.cpp · 2 д назад · 5 просмотров

llama.cpp b11232 включает tiled flash attention для x86

Проект llama.cpp выпустил сборку b11232, включающую обновления бэкенда ggml-cpu. Релиз сосредоточен на включении tiled flash attention для измерений голов без кратности вектору на архитектурах x86.