github llama.cpp · 1 ч назад · inference

llama.cpp b10298 добавляет функцию сохранения/загрузки чанков mtmd

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10298, которая вводит новую функцию сохранения и загрузки чанков для модуля mtmd. Это обновление также включает очистку кода и дополнительные тесты.

Добавлена функциональность сохранения/загрузки чанков в модуль mtmd.
Включены мелкие правки кода и добавления тестов.
Переименованы внутренние константы из _MAX в _COUNT.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL и HIP.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10282 добавляет счетчики spec-decode в конечную точку /metrics

Проект llama.cpp выпустил версию b10282, которая внедряет новые возможности мониторинга для спекулятивного декодирования. Сервер теперь включает счетчики spec-decode в своей конечной точке /metrics, позволяя пользователям отслеживать метрики производительности, связанные с этой функцией.

github llama.cpp · 2 д назад

llama.cpp b10259 позволяет изменять форму тензоров при загрузке

Проект llama.cpp выпустил сборку b10259, которая добавляет возможность изменения формы тензоров в процессе загрузки.

github llama.cpp · 3 д назад · 2 просмотра

llama.cpp b10254 добавляет шаблон DeepSeek V4 Flash 0731 и обновляет шаблоны V4

Проект llama.cpp выпустил версию b10254, представив новый шаблон чата для модели DeepSeek V4 Flash 0731 наряду с обновлениями существующих шаблонов DeepSeek V4.

github llama.cpp · 3 д назад

llama.cpp b10251 добавляет поддержку MTP для GLM-4.7-Flash

Проект llama.cpp выпустил сборку b10251, которая добавляет поддержку многозадачного предсказания (MTP) для модели GLM-4.7-Flash.

github llama.cpp · 4 д назад

llama.cpp b10238 добавляет поддержку MTP для Qwen3-Next

Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.