github llama.cpp · 12 ч назад · inference

llama.cpp b10645 добавляет --n-cpu-ffn для выгрузки весов плотной FFN

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10645, вводя новую опцию командной строки --n-cpu-ffn. Эта функция позволяет пользователям указывать количество слоев, веса плотной прямого распространения (FFN) которых выгружаются на CPU.

Добавлена опция --n-cpu-ffn для управления выгрузкой весов плотной FFN на CPU для первых N слоев.
Устранено дублирование циклов переопределения для опций --n-cpu-moe и --spec-draft-n-cpu-moe.
Обобщен llm_ffn_block_regex над паттерном регулярного выражения FFN.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) и ускорителей ИИ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10656 ограничивает рабочий объем памяти, чтобы избежать загрузки больших тензоров в ОЗУ

Проект llama.cpp выпустил сборку b10656, которая включает изменение для ограничения размера рабочей памяти. Эта модификация предназначена для предотвращения загрузки крупных тензоров в системную оперативную память.