github llama.cpp · только что · inference

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Переведено с English → Русский

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

Добавлена реализация ядра `flash_attn_f32_f16_bin` для OpenCL.
Реализована логика защищённого префиллинга для Flash Attention в бэкенде OpenCL.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android и iOS.

Это расширение аппаратной совместимости для механизмов внимания на устройствах с поддержкой OpenCL при сохранении широкой поддержки основных операционных систем и ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.

github llama.cpp · 2 д назад · 7 просмотров

llama.cpp b11006 добавляет поддержку Hexagon для K-Quants Q4_K и Q6_K

Проект llama.cpp выпустил версию b11006, добавившую поддержку процессоров Qualcomm Hexagon для работы с форматами K-Quantization. Это обновление реализует специфические ядра для уровней квантования Q4_K и Q6_K на архитектуре Hexagon.

github llama.cpp · 4 д назад · 10 просмотров

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 11 д назад · 24 просмотра

llama.cpp b10840 добавляет безветвление Q4_K/Q5_K распаковку и L2 предвыборку для CUDA

Проект llama.cpp выпустил версию b10840, которая вводит оптимизации производительности для вывода CUDA. Обновление реализует вычисления без ветвления для форматов квантования Q4_K и Q5_K для ускорения умножения матрицы на вектор (mmvq).

github llama.cpp · 12 д назад · 23 просмотра

llama.cpp b10827 исправляет выбор упаковки весов OpenCL для mul_mat q4_K и q5_K

Проект llama.cpp выпустил версию b10827, которая включает исправление для правильного выбора упаковки весов для операций умножения матриц q4_K и q5_K с использованием OpenCL.