github llama.cpp · 4 д назад · inference

llama.cpp b11207 добавляет поддержку GET_ROWS с тайлингом Q4_0 и Q8_0 для Hexagon

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11207, которая вводит поддержку операций GET_ROWS с тайлингом Q4_0 и Q8_0 на бэкенде Hexagon. Это обновление также включает исправления макросов, вытеснения регистров и конвейера DMA, а также улучшения логики выбора ядра и повторно включенную векторизацию.

Добавлена поддержка GET_ROWS с тайлингом Q4_0 и Q8_0 для Hexagon с использованием тайлированного деквантования HVX.
Исправлены макросы и вытеснение регистров в hex-get-rows при очистке проверок неподдерживаемых операций.
Улучшен конвейер DMA и упрощена логика выбора ядра.
Повторно включен векторизатор после того, как была выявлена регрессия во время обновления сэмплера.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, GPU, NPU, CUDA, ROCm, Vulkan, OpenVINO и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 10 ч назад · 2 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 7 д назад · 17 просмотров

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.

github llama.cpp · 7 д назад · 22 просмотра

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 8 д назад · 22 просмотра

llama.cpp добавляет поддержку DFlash для HunyuanOCR и исправляет конвертацию черновиков

Проект llama.cpp добавил поддержку спекулятивного декодирования DFlash с моделью HunyuanOCR, открывая тензоры входных данных слоёв в целевом графе. Это изменение позволяет модели-черновику считывать остаточные потоки, что обеспечивает успешное выполнение запросов на распознавание текста с уровнем принятия черновика около 0.5 и байтово идентичным выводом OCR по сравнению с неспекулятивными запусками.

lab Hugging Face Blog · 8 д назад · 24 просмотра

Transformers добавляет поддержку GGUF через ядра ggml для локального вывода

Библиотека Transformers от Hugging Face теперь поддерживает загрузку квантованных моделей в формате GGUF, используя базовые ядра ggml для достижения производительности, близкой к llama.cpp. Эта интеграция позволяет разработчикам запускать квантованные контрольные точки непосредственно через стандартный API на основе PyTorch на поддерживаемом оборудовании.