github llama.cpp · 1 д назад · inference

llama.cpp b10951 перемещает llama_n_rs_seq перед llama_decode для избежания лишних вызовов

Переведено с English → Русский

Проект llama.cpp выпустил версию b10951, включающую оптимизацию кода в логике декодирования. Вызов функции `llama_n_rs_seq` теперь выполняется перед `llama_decode`, что позволяет системе возвращаться напрямую, если проверка проходит успешно.

Это изменение устраняет необходимость установки переменной `res` и использования оператора goto при выполнении условия раннего возврата.
Основная цель — избежать вызова `llama_decode`, когда это не требуется, повышая эффективность.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 2 просмотра

llama.cpp b10982 добавляет поддержку разреженного Flash Attention через Vulkan для DSV4/GLM

Проект llama.cpp выпустил сборку b10982, которая вводит поддержку разреженного Flash Attention через бэкенд Vulkan. Это обновление специально ориентировано на модели DSV4 и GLM, позволяя им использовать механизмы разреженного внимания на совместимом оборудовании GPU.

github llama.cpp · 3 ч назад · 2 просмотра

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 21 ч назад · 8 просмотров

llama.cpp 0.4.1 добавляет поддержку Maple 20B-A1B, Tencent Hy 4 и Spark2.5

Проект llama.cpp выпустил версию 0.4.1, добавив поддержку тернарной архитектуры Mixture of Experts Maple 20B-A1B на CPU, а также предварительную поддержку моделей Tencent Hy 4 и Spark2.5.

github llama.cpp · 3 д назад · 12 просмотров

llama.cpp b10930 позволяет скачивать модели при достижении лимита

Проект llama.cpp выпустил версию b10930, которая включает исправление для серверного компонента, позволяющее скачивать модели даже тогда, когда пользователь достиг своего лимита.

github llama.cpp · 3 д назад · 4 просмотра

Выпуск llama.cpp b10926 корректно обрабатывает неподдерживаемые квантования tq1_0

Проект llama.cpp выпустил версию b10926, которая включает исправление для корректной обработки неподдерживаемых квантований tq1_0 путем безопасного завершения работы. Это обновление решает проблему #28681, улучшая стабильность при работе с данным форматом квантования.