github llama.cpp · 3 д назад · inference

llama.cpp b11062 включает разреженный FA для Qwen4

Переведено с English → Русский

Проект llama.cpp выпустил версию b11062, которая включает pull request с поддержкой разреженного Flash Attention (FA) для модели Qwen4.

Это обновление является частью более широкого выпуска b11062, который предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, GPU (CUDA, ROCm, Vulkan) и ускорителей ИИ.

Конкретное изменение, указанное в примечаниях к выпуску, добавляет возможности разреженного FA для Qwen4 с целью повышения эффективности.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 14 ч назад · 11 просмотров

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.

github llama.cpp · 17 ч назад · 9 просмотров

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

github llama.cpp · 20 ч назад · 11 просмотров

Выпуск llama.cpp b11101 позволяет многократные вызовы find_package для llama

Проект llama.cpp выпустил версию b11101, которая включает исправление системы сборки, позволяющее многократные вызовы find_package для библиотеки llama.

lab Hugging Face Blog · 21 ч назад · 10 просмотров

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.