github llama.cpp · 1 ч назад · inference

llama.cpp b10636 отключает сборку npm UI по умолчанию и очищает CI

Переведено с English → Русский

Проект llama.cpp выпустил версию b10636, которая изменяет поведение по умолчанию при сборке веб-интерфейса. Сборка UI на основе npm теперь отключена по умолчанию (LLAMA_BUILD_UI=OFF), вместо этого UI встраивается из локальных источников или готовых загрузок.

Задачи CI больше не собирают UI через npm; серверная санитизация больше не требует Node.js.
Артефакт ui-build переименован в llama-ui.zip и используется в задачах выпуска.
Сборки macOS Apple Silicon с KleidiAI отключены.
Поддержка Windows arm64 CUDA 13 помечена как предварительная.

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, Vulkan, ROCm, OpenVINO, SYCL и CUDA.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10635 разблокирует mmq для MoE на sm_60

Проект llama.cpp выпустил версию b10635, включающую специфические обновления поддержки CUDA. Основное изменение — разблокировка смешанной точности матричного умножения (mmq) для архитектур Mixture of Experts (MoE) на GPU с вычислительной способностью 6.0 (sm_60).

github llama.cpp · 2 д назад · 11 просмотров

llama.cpp b10604 добавляет поддержку формата DSV4 для Deepseek 4 и бинарные файлы для macOS/iOS

Проект llama.cpp выпустил версию b10604, которая добавляет поддержку формата модели Deepseek 4 (DSV4) наряду с новыми предварительно скомпилированными бинарными файлами для macOS и iOS.

github llama.cpp · 3 д назад · 5 просмотров

llama.cpp b10598 использует алгоритм масштабирования pillow-accurate и исправляет resize_algo для всех моделей

Проект llama.cpp выпустил сборку b10598, которая обновляет модуль mtmd для использования алгоритма масштабирования pillow-accurate и исправляет resize_algo для всех моделей. Этот релиз также включает оптимизации скорости.

github llama.cpp · 3 д назад · 5 просмотров

llama.cpp b10593 исправляет откат DeepseekV4 и загрузку модели

Проект llama.cpp выпустил сборку b10593, которая устраняет критические проблемы с архитектурой модели DeepseekV4. Обновление конкретно решает проблему сбоя отката, возникавшего при обработке множественных последовательностей.

github llama.cpp · 4 д назад · 4 просмотра

llama.cpp b10584 исправляет расчёт размера контекста для предотвращения ошибок сервера 500

Проект llama.cpp выпустил сборку b10584, устраняющую критическую проблему, при которой размер контекста черновика не совпадал с целевым контекстом, что приводило к сбоям запросов сервера с ошибками 500.