github llama.cpp · только что · inference

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Переведено с English → Русский

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

Оптимизирует opencl quant lm_head / decode GEMV и GEMM для средних пакетов для спекулятивного декодирования/MTP.
Защищает регистрацию ядра преобразования tiled_ns q4_K/q6_K для сборок, не предназначенных для Adreno.
Ограничивает диспетчеризацию слияния MUL_MAT+GLU q4_K конкретно оборудованием Adreno.
Требует компоновки весов noshuffle в затворе слияния GLU q4_K.
Предотвращает использование векторизованного пути GEMV f16 mrow при невыровненных шагах строк.
Включает декодирование GEMV split-K q4_K только там, где измерены улучшения производительности.
Ограничивает значения по умолчанию для tiled lm_head/embed GEMV архитектурами X2E/A8X.

Релиз предоставляет двоичные файлы для macOS, iOS, Linux, Windows, Android и openEuler для CPU, GPU и различных бэкендов ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

lab Hugging Face Blog · 2 д назад · 6 просмотров

Hugging Face выпустила 207 ядер WebGPU и инструмент для браузерного бенчмаркинга

Компания Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub, а также начальную коллекцию из 207 ядер. В релиз также вошёл Fleet — набор для браузерного бенчмаркинга GPU, который собирает данные о производительности и корректности с устройств пользователей.

github llama.cpp · 3 д назад · 10 просмотров

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 5 д назад · 9 просмотров

llama.cpp включает xmem GEMM и обходит tiled f32 на GPU Adreno

Проект llama.cpp обновил свой бэкенд OpenCL для улучшения производительности умножения матриц на двух поколениях GPU Adreno. Изменения в первую очередь ориентированы на поколение X2E, по умолчанию активируя путь GEMM xmem F16xF32 и оптимизируя обработку для поколения A7X.

github llama.cpp · 6 д назад · 11 просмотров

llama.cpp b10670 направляет декодирование квантованного KV на TILE для Xe2 (BMG)

Проект llama.cpp выпустил версию b10670, которая включает специфическую оптимизацию для архитектуры Intel Xe2. Обновление перенаправляет операцию декодирования квантованных ключей и значений (KV) исключительно на бэкенд TILE для оборудования BMG, сохраняя бэкенд VEC для других архитектур до их валидации.

github llama.cpp · 7 д назад · 30 просмотров

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.