github llama.cpp · только что · inference

llama.cpp b10669 привязывает KV-кэш f16 на месте для пути SDPA oneDNN

Переведено с English → Русский

Проект llama.cpp выпустил версию b10669, которая включает оптимизацию производительности для пути SDPA oneDNN за счёт привязки KV-кэша f16 на месте.

Изменение снижает трафик памяти во время чанков префилла; например, на Qwen3.8 27B с живой длиной KV 34816 оно уменьшает трафик на ubatch с 4.56 GB до меньшего значения за счёт избегания поэтапных копирований.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление предоставляет пользователям оптимизированную производительность вывода на поддерживаемом оборудовании при сохранении широкой совместимости платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 6 ч назад · 1 просмотр

llama.cpp b10666 исправляет тесты сохранения/загрузки состояния и копирование последовательностей на устройстве

Релиз llama.cpp b10666 расширяет набор тестов save-load-state для запуска на всех архитектурах и устраняет несколько критических ошибок в управлении состоянием и обработке графа. Ключевые изменения включают исправление висячих ссылок в minimax-01, согласование копирования чанков для последовательностей на устройстве и исправление количества голов индексатора для deepseek4.

github llama.cpp · 16 ч назад · 1 просмотр

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 17 ч назад · 7 просмотров

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 17 ч назад · 16 просмотров

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

github llama.cpp · 18 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.