github llama.cpp · 1 ч назад · inference

llama.cpp b10259 позволяет изменять форму тензоров при загрузке

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10259, которая добавляет возможность изменения формы тензоров в процессе загрузки.

Это обновление включает бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, ROCm, OpenVINO и SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO и SYCL) и openEuler.

Релиз также предоставляет автономный пакет пользовательского интерфейса.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10254 добавляет шаблон DeepSeek V4 Flash 0731 и обновляет шаблоны V4

Проект llama.cpp выпустил версию b10254, представив новый шаблон чата для модели DeepSeek V4 Flash 0731 наряду с обновлениями существующих шаблонов DeepSeek V4.

github llama.cpp · 10 ч назад

llama.cpp b10251 добавляет поддержку MTP для GLM-4.7-Flash

Проект llama.cpp выпустил сборку b10251, которая добавляет поддержку многозадачного предсказания (MTP) для модели GLM-4.7-Flash.

github llama.cpp · 1 д назад

llama.cpp b10238 добавляет поддержку MTP для Qwen3-Next

Проект llama.cpp выпустил сборку b10238, которая внедряет поддержку Multi-Token Prediction (MTP) для семейства моделей Qwen3-Next. Это обновление включает специфические изменения в реализации для обработки слоев MTP и исправления, связанные с проверкой типов Python в кодовой базе.

github llama.cpp · 1 д назад · 5 просмотров

llama.cpp b10237 добавляет поддержку MTP для DeepSeek V3.2

Проект llama.cpp выпустил сборку b10237, которая вводит поддержку предсказания нескольких токенов (MTP) для модели DeepSeek V3.2.

github llama.cpp · 2 д назад · 7 просмотров

llama.cpp b10232 реализует гиперсвязи DeepSeek V4 в Metal

Проект llama.cpp выпустил сборку b10232, которая добавляет поддержку гиперсвязей DeepSeek V4 через бэкенд Metal. Это обновление включает реализацию операций GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE и GGML_OP_DSV4_HC_POST.