github llama.cpp · 1 ч назад · inference

llama.cpp b11006 добавляет поддержку Hexagon для K-Quants Q4_K и Q6_K

Переведено с English → Русский

Проект llama.cpp выпустил версию b11006, добавившую поддержку процессоров Qualcomm Hexagon для работы с форматами K-Quantization. Это обновление реализует специфические ядра для уровней квантования Q4_K и Q6_K на архитектуре Hexagon.

Реализация ядер q6k и q4k для DSP Hexagon.
Улучшена точность распаковки для ядра hex-q6k.
Добавлена поддержка ядер Q4_K на оборудовании Hexagon.

Релиз предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных CPU и GPU бэкендов, включая CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 9 д назад · 21 просмотр

llama.cpp b10840 добавляет безветвление Q4_K/Q5_K распаковку и L2 предвыборку для CUDA

Проект llama.cpp выпустил версию b10840, которая вводит оптимизации производительности для вывода CUDA. Обновление реализует вычисления без ветвления для форматов квантования Q4_K и Q5_K для ускорения умножения матрицы на вектор (mmvq).

github llama.cpp · 10 д назад · 21 просмотр

llama.cpp b10827 исправляет выбор упаковки весов OpenCL для mul_mat q4_K и q5_K

Проект llama.cpp выпустил версию b10827, которая включает исправление для правильного выбора упаковки весов для операций умножения матриц q4_K и q5_K с использованием OpenCL.

github llama.cpp · 13 д назад · 28 просмотров

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

lab Hugging Face Blog · 15 д назад · 20 просмотров

Hugging Face выпустила 207 ядер WebGPU и инструмент для браузерного бенчмаркинга

Компания Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub, а также начальную коллекцию из 207 ядер. В релиз также вошёл Fleet — набор для браузерного бенчмаркинга GPU, который собирает данные о производительности и корректности с устройств пользователей.