github llama.cpp · 4 д назад · inference

llama.cpp b10827 исправляет выбор упаковки весов OpenCL для mul_mat q4_K и q5_K

Переведено с English → Русский

Проект llama.cpp выпустил версию b10827, которая включает исправление для правильного выбора упаковки весов для операций умножения матриц q4_K и q5_K с использованием OpenCL.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL), Android и iOS.
Поддержка OpenCL Adreno доступна на Windows arm64, в то время как KleidiAI остается отключенным для macOS Apple Silicon.
Обновление также включает новую сборку пользовательского интерфейса и ссылки для аттестации.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

llama.cpp b10840 добавляет безветвление Q4_K/Q5_K распаковку и L2 предвыборку для CUDA

Проект llama.cpp выпустил версию b10840, которая вводит оптимизации производительности для вывода CUDA. Обновление реализует вычисления без ветвления для форматов квантования Q4_K и Q5_K для ускорения умножения матрицы на вектор (mmvq).

github llama.cpp · 7 д назад · 21 просмотр

llama.cpp b10791 добавляет оптимизации OpenCL для квантованной lm_head и декодирования GEMV

Проект llama.cpp выпустил версию b10791, внедряя значительные оптимизации OpenCL для квантованных голов языковых моделей и операций декодирования GEMV. Это обновление также включает улучшения GEMM для средних пакетов, относящиеся к спекулятивному декодированию и предсказанию нескольких токенов.

lab Hugging Face Blog · 9 д назад · 13 просмотров

Hugging Face выпустила 207 ядер WebGPU и инструмент для браузерного бенчмаркинга

Компания Hugging Face выпустила библиотеку @huggingface/kernels для загрузки и запуска оптимизированных ядер WebGPU из Hugging Face Hub, а также начальную коллекцию из 207 ядер. В релиз также вошёл Fleet — набор для браузерного бенчмаркинга GPU, который собирает данные о производительности и корректности с устройств пользователей.

github llama.cpp · 10 д назад · 19 просмотров

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 12 д назад · 19 просмотров

llama.cpp включает xmem GEMM и обходит tiled f32 на GPU Adreno

Проект llama.cpp обновил свой бэкенд OpenCL для улучшения производительности умножения матриц на двух поколениях GPU Adreno. Изменения в первую очередь ориентированы на поколение X2E, по умолчанию активируя путь GEMM xmem F16xF32 и оптимизируя обработку для поколения A7X.