github llama.cpp · только что · inference

llama.cpp b11298 добавляет поддержку dflash для конвертации и извлечения признаков

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11298, которая добавляет поддержку формата dflash. Это обновление позволяет как конвертировать модели в этот формат, так и выполнять последующее извлечение признаков.

Инструмент конвертации моделей обновлен для работы с входными данными dflash.
Функциональность извлечения признаков теперь доступна для моделей dflash.
В процессе разработки была исправлена компонента 'cont'.
Бинарные файлы предоставлены для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) и NPU.

Это обновление позволяет пользователям использовать модели dflash в экосистеме llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 7 ч назад · 2 просмотра

llama.cpp b11284 исправляет GET_ROWS в OpenVINO для представлений квантованных весов

Проект llama.cpp выпустил сборку b11284, которая включает исправление бэкенда OpenVINO для корректной обработки операций GET_ROWS на представлениях квантованных весов.

github llama.cpp · 11 ч назад · 2 просмотра

llama.cpp добавляет поддержку GLM-5.3-Flash с исправлениями k-pool и MTP

Проект llama.cpp добавил начальную поддержку архитектуры модели GLM-5.3-Flash (GLM5-Next), включая миграцию на гибридную индексацию памяти и ранние возможности Multi-Token Prediction (MTP).

github llama.cpp · 13 ч назад · 2 просмотра

llama.cpp b11272 оптимизирует операцию конкатенации Hexagon

Проект llama.cpp выпустил сборку b11272, включающую оптимизации для бэкенда Hexagon. Основное изменение сосредоточено на оптимизации операции конкатенации для повышения производительности на оборудовании Qualcomm Snapdragon.

github llama.cpp · 1 д назад · 7 просмотров

llama.cpp b11260 добавляет поддержку FP32 GELU_ERF и GEGLU_ERF

Проект llama.cpp выпустил версию b11260, добавляющую поддержку функций активации FP32 GELU_ERF и GEGLU_ERF в бэкенде Hexagon. Это обновление также включает оптимизации для снижения нагрузки на регистры в соответствующих ядрах.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b11258 удаляет встроенный service worker интерфейса, когда UI не обслуживается

Проект llama.cpp выпустил сборку b11258, которая включает исправление поведения service worker встроенного веб-интерфейса. Ранее использование флагов вроде `--path` или `--no-ui` приводило к тому, что браузеры сохраняли закэшированные версии интерфейса, поскольку сервер возвращал 404 для `/sw.js`, что не вызывает удаление service worker.