github llama.cpp · только что · inference

llama.cpp b10541 добавляет аргумент --mmproj-device для мультимодальных проектов

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10541, вводя аргумент командной строки `--mmproj-device`, позволяющий пользователям указывать бэкенд устройства для загрузки файлов мультимодальной проекции.

Новый аргумент поддерживается обратно совместимой переменной окружения `MTMD_BACKEND_DEVICE`.
Также доступен короткий флаг `-mmdev` для быстрого доступа к этой функциональности.
В релиз включены бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android и openEuler.
В этом релизе также предоставлена обновленная бинарная версия UI.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10532 добавляет деквантование Metal KV для Flash Attention

Проект llama.cpp выпустил версию b10532, вводя этап предварительной обработки на бэкенде Metal, который деквантует квантованные ключ-значения (KV) кэши до F16 перед выполнением Flash Attention.

github llama.cpp · 10 ч назад · 2 просмотра

llama.cpp b10517 добавляет оптимизации деquant для Vulkan FA и исправления

Проект llama.cpp выпустил сборку b10517, внедряя несколько улучшений, специфичных для Vulkan, в путь деквантования flash attention (FA). Ключевые изменения включают деквантование q8_0 KV один раз в coopmat1, пропуск пути FA dequant на coopmat2 и исключение Intel Xe1 из пути FA dequant.

github llama.cpp · 20 д назад · 35 просмотров

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 29 д назад · 26 просмотров

llama.cpp b10089 добавляет полную поддержку k-quant и i-quant для CUDA GET_ROWS

Релиз llama.cpp b10089 расширяет операции CUDA GET_ROWS для поддержки форматов квантования k-quants, i-quants и mxfp4. Это изменение гарантирует, что все квантованные типы GGML теперь могут использовать прямой путь устройства для поиска встраиваний.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10545 исправляет чтение за пределами массива при умножении матриц Metal для K, не кратного 32

Проект llama.cpp выпустил сборку b10545, которая устраняет критическую ошибку в ядре умножения матриц тензорного API бэкенда Metal. Обновление предотвращает неопределённое поведение и искажённые результаты при обработке тензоров, у которых размерность K не кратна 32.