github llama.cpp · 2 ч назад · inference

llama.cpp b10338 исправляет сбой кругового сохранения/загрузки моделей MoE

Переведено с English → Русский

Выпуск llama.cpp b10338 устраняет критическую ошибку в модуле сохранения моделей, из-за которой модели Mixture-of-Experts (MoE) с общими экспертами не загружались после сохранения. Проблема заключалась в том, что сохранение неправильно записывало значение `n_ff_chexp` в ключ `LLM_KV_EXPERT_SHARED_FEED_FORWARD_LENGTH`, что приводило к искажению корректной информации о форме тензора.

Исправление гарантирует, что второй вызов записывает корректный ключ `LLM_KV_EXPERT_CHUNK_FEED_FORWARD_LENGTH` вместо перезаписи длины общего прямого распространения.
Это устраняет сбои загрузки для архитектур с общими экспертами, включая qwen2moe, qwen3-next, granite-moe, hunyuan-moe, ernie4.5, bailingmoe2 и nemotron-h.
В выпуск включены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) и openEuler.

Это исправление гарантирует успешное выполнение круговых операций сохранения и загрузки для моделей MoE с общими экспертами без несоответствий формы тензоров.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад Live

llama.cpp добавляет архитектуру Granite-Switch с маршрутизатором в графе для выбора LoRA на токене

Проект llama.cpp внедряет поддержку архитектуры Granite-Switch, варианта плотной модели с N встроенными адаптерами LoRA, которые выбираются на токене посредством управляющих токенов. Эта реализация заменяет предыдущий концепт глобального «липкого» индекса причинным механизмом внимания «маршрутизатора» в графе для разрешения индексов адаптеров.

lab Hugging Face Blog · 3 ч назад · 2 просмотра

Multiverse Computing снижает потребление VRAM при дистилляции знаний за счёт объединённой кусочной функции потерь KL

Multiverse Computing представляет энергоэффективный подход к дистилляции знаний больших языковых моделей, сочетающий офлайн-кэширование топ-K логитов с объединённой кусочной функцией потерь расхождения Кульбака-Лейблера (KL). Этот метод устраняет необходимость одновременного удержания в памяти как учителя, так и ученика, что радикально снижает требования к VRAM.

github llama.cpp · 5 ч назад

Выпуск llama.cpp b10336 с рефакторингом ggml-webgpu

Проект llama.cpp выпустил версию b10336, которая включает рефакторинг нескольких файлов wgsl и упрощение flash_attn wgsl в компоненте ggml-webgpu.

media Hugging Face Forums · 1 д назад · 8 просмотров

vLLM Launcher предоставляет рабочий стол для локального вывода LLM в Windows

Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b10331 исправляет get_info сервера для корректного отчёта об изолированном рабочем каталоге

Проект llama.cpp выпустил сборку b10331, которая включает исправление для эндпоинта `get_info` сервера. Ранее, когда явный текущий рабочий каталог не был указан, функция ошибочно возвращалась к рабочему каталогу процесса сервера, даже если был настроен tools runtime.