github llama.cpp · только что · inference

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Переведено с English → Русский

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

Расширяет слияние MMVQ GLU для обработки смешанных типов квантования в бэкенде SYCL.
Добавляет слияния rms_norm+scale и ssm_conv+silu для SYCL.
Исправляет проблемы с пробелами и преобразует макрос в шаблонную функцию.
Предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU и NPU, включая CUDA, Vulkan, ROCm и OpenVINO.

Это обновление улучшает производительность и совместимость для аппаратного ускорения на базе SYCL в экосистеме llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

lab Hugging Face Blog · 21 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.

github llama.cpp · 4 д назад · 21 просмотр

llama.cpp b11046 добавляет поддержку OpenCL для ядра flash_attn_f32_f16_bin

Проект llama.cpp выпустил версию b11046, которая добавляет поддержку OpenCL для ядра `flash_attn_f32_f16_bin`. Это обновление также включает функциональность защищённого префиллинга для Flash Attention на устройствах OpenCL.

github llama.cpp · 6 д назад · 15 просмотров

llama.cpp b11019 исправляет выравнивание данных GGUF для встроенных файлов и добавляет загрузку LoRA

Проект llama.cpp выпустил версию b11019, устраняющую критическую ошибку, при которой файлы GGUF, встроенные по невыровненным смещениям, возвращали некорректные данные тензоров. Обновление выравнивает секцию данных GGUF относительно начала файла, а не смещения 0, обеспечивая правильную загрузку встроенных моделей.

github llama.cpp · 7 д назад · 20 просмотров

llama.cpp b11006 добавляет поддержку Hexagon для K-Quants Q4_K и Q6_K

Проект llama.cpp выпустил версию b11006, добавившую поддержку процессоров Qualcomm Hexagon для работы с форматами K-Quantization. Это обновление реализует специфические ядра для уровней квантования Q4_K и Q6_K на архитектуре Hexagon.