github llama.cpp · 1 ч назад · inference

llama.cpp b10549 включает разделение тензоров для LFM2/LFM2MOE

Переведено с English → Русский

Проект llama.cpp выпустил версию b10549, которая в основном добавляет поддержку разделения тензоров в моделях LFM2 и LFM2MOE.

Обновление включает бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x с CPU, Vulkan, OpenVINO и SYCL бэкендами), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) и Android.
Поддержка iOS предоставляется через XCFramework.
Сборки openEuler доступны для архитектур x86 и aarch64 с использованием ACL Graph.

Этот релиз предоставляет обновленные бинарные файлы на нескольких платформах для облегчения запуска моделей LFM2/LFM2MOE с новой возможностью разделения тензоров.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

vLLM v0.28.0rc2 добавляет DFlash2 Spec Decode с локальной свёрткой и селектором кандидатов

Проект vLLM выпустил версию 0.28.0rc2, которая включает функцию спекулятивного декодирования DFlash2.

github llama.cpp · 6 ч назад · 2 просмотра

llama.cpp b10539 исправляет переполнение Vulkan FA MMQ и добавляет поддержку CUDA 13 для Windows

Проект llama.cpp выпустил версию b10539, которая устраняет критическую проблему численной стабильности в бэкенде Vulkan, одновременно расширяя поддержку оборудования для пользователей Windows.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10541 добавляет аргумент --mmproj-device для мультимодальных проектов

Проект llama.cpp выпустил сборку b10541, вводя аргумент командной строки `--mmproj-device`, позволяющий пользователям указывать бэкенд устройства для загрузки файлов мультимодальной проекции.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10545 исправляет чтение за пределами массива при умножении матриц Metal для K, не кратного 32

Проект llama.cpp выпустил сборку b10545, которая устраняет критическую ошибку в ядре умножения матриц тензорного API бэкенда Metal. Обновление предотвращает неопределённое поведение и искажённые результаты при обработке тензоров, у которых размерность K не кратна 32.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10534 добавляет точки переключения CUDA для каждого оборудования для ускорения декодирования

Проект llama.cpp выпустил сборку b10534, которая вводит аппаратно-специфичные точки переключения для настройки перехода между путями векторных и тензорных ядер во время квантованного декодирования на CUDA.