github llama.cpp · только что · inference

llama.cpp b11338 добавляет общую страйдную DMA-копию для CPY и CONCAT

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11338, вводя механизм общей страйдной копии Direct Memory Access (DMA) для операций CPY и CONCAT. Это обновление позволяет выполнять CONCAT с любой размерностью через DMA на архитектурах Hexagon.

Реализована общая страйдная DMA-копия для операций CPY и CONCAT.
Включена поддержка CONCAT с любой размерностью через DMA.
Удалена неработающая логика CONCAT_DMA_MIN_ROW, несовместимая с 64-битной DMA.
Добавлены отсутствующие вызовы dma_queue_flush() и дополнительные проверки для неподдерживаемых условий.

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU и NPU.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b11335 направляет sm70 в таблицу Turing MMVQ для производительности на Volta

Проект llama.cpp выпустил версию b11335, включающую оптимизацию CUDA для GPU Volta. Обновление перенаправляет архитектуру sm_70 в существующую таблицу nwarps Turing MMVQ вместо перехода к общей конфигурации.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b11333 добавляет поддержку bfloat16 для WebGPU в операциях MUL_MAT

Проект llama.cpp выпустил сборку b11333, которая добавляет поддержку bfloat16 для операций MUL_MAT, MUL_MAT_ID и GET_ROWS во внутреннем бэкенде WebGPU.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b11309 оптимизирует ALLREDUCE для Hexagon с безопасным режимом scatter

Проект llama.cpp выпустил версию b11309, включающую ключевую оптимизацию для бэкенда Hexagon. Это обновление добавляет поддержку безопасного режима scatter в операцию ALLREDUCE, направленную на улучшение производительности и стабильности на устройствах Qualcomm Snapdragon.

github llama.cpp · 2 д назад · 9 просмотров

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 2 д назад · 5 просмотров

llama.cpp b11266 загружает матрицу F32 A по 2 элемента за раз для Vulkan на Intel

Проект llama.cpp выпустил сборку b11266, которая включает оптимизацию Vulkan, загружающую матрицы F32 A по два элемента за раз, когда они выровнены по границе 2. Это изменение решает проблемы производительности на оборудовании Intel, где последовательная загрузка чисел с плавающей точкой неэффективна, а также исправляет отсутствующую проверку выравнивания `a_offset` в исходном патче.