github llama.cpp · 1 ч назад · inference

llama.cpp b11007 включает CUDA graph для черновика MTP

Переведено с English → Русский

Проект llama.cpp выпустил версию b11007, которая добавляет поддержку CUDA graphs в черновиках Multi-Token Prediction (MTP). Это обновление повышает эффективность процесса черновика за счёт выполнения CUDA graph.

Включить CUDA graph для черновика MTP для повышения эффективности использования.
Предоставить бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.
Включить бинарные файлы UI для всех поддерживаемых платформ.

Это обновление позволяет пользователям получать преимущества оптимизированной производительности вывода на совместимых GPU NVIDIA благодаря новой реализации черновика MTP.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b11006 добавляет поддержку Hexagon для K-Quants Q4_K и Q6_K

Проект llama.cpp выпустил версию b11006, добавившую поддержку процессоров Qualcomm Hexagon для работы с форматами K-Quantization. Это обновление реализует специфические ядра для уровней квантования Q4_K и Q6_K на архитектуре Hexagon.

github llama.cpp · 1 д назад · 8 просмотров

llama.cpp b10982 добавляет поддержку разреженного Flash Attention через Vulkan для DSV4/GLM

Проект llama.cpp выпустил сборку b10982, которая вводит поддержку разреженного Flash Attention через бэкенд Vulkan. Это обновление специально ориентировано на модели DSV4 и GLM, позволяя им использовать механизмы разреженного внимания на совместимом оборудовании GPU.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 2 д назад · 12 просмотров

llama.cpp 0.4.1 добавляет поддержку Maple 20B-A1B, Tencent Hy 4 и Spark2.5

Проект llama.cpp выпустил версию 0.4.1, добавив поддержку тернарной архитектуры Mixture of Experts Maple 20B-A1B на CPU, а также предварительную поддержку моделей Tencent Hy 4 и Spark2.5.

github llama.cpp · 3 д назад · 3 просмотра

llama.cpp b10951 перемещает llama_n_rs_seq перед llama_decode для избежания лишних вызовов

Проект llama.cpp выпустил версию b10951, включающую оптимизацию кода в логике декодирования. Вызов функции `llama_n_rs_seq` теперь выполняется перед `llama_decode`, что позволяет системе возвращаться напрямую, если проверка проходит успешно.