github llama.cpp · 2 ч назад · inference

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

Добавлена поддержка DFlash2 с функциональностью локальной свертки и селектора кандидатов.
В реализацию DFlash2 включен параметр p_min.
Применен патч для исправления ошибки mrope.
Оптимизированы затраты на DFlash2 и переструктурирована структура кода.
Выпущены бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, GPU и различных ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10656 ограничивает рабочий объем памяти, чтобы избежать загрузки больших тензоров в ОЗУ

Проект llama.cpp выпустил сборку b10656, которая включает изменение для ограничения размера рабочей памяти. Эта модификация предназначена для предотвращения загрузки крупных тензоров в системную оперативную память.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10657 добавляет бинарные ядра OpenCL для GEMO MOE

Проект llama.cpp выпустил версию b10657, вводя новые бинарные ядра OpenCL для моделей с смешанными экспертами. В частности, обновление добавляет `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` и `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` для поддержки эффективных вычислений на совместимом оборудовании.