github llama.cpp · 3 ч назад · inference

llama.cpp b10656 ограничивает рабочий объем памяти, чтобы избежать загрузки больших тензоров в ОЗУ

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10656, которая включает изменение для ограничения размера рабочей памяти. Эта модификация предназначена для предотвращения загрузки крупных тензоров в системную оперативную память.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows и openEuler.
Поддерживаемые бэкенды включают CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL, CUDA 12/13 и OpenCL Adreno.
Поддержка KleidiAI для macOS Apple Silicon отключена в этой сборке.

Это обновление обеспечивает более стабильное использование памяти во время процессов квантования за счет ограничения объема рабочей памяти.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10657 добавляет бинарные ядра OpenCL для GEMO MOE

Проект llama.cpp выпустил версию b10657, вводя новые бинарные ядра OpenCL для моделей с смешанными экспертами. В частности, обновление добавляет `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` и `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` для поддержки эффективных вычислений на совместимом оборудовании.