github llama.cpp · 1 ч назад · inference

llama.cpp b10985 ограничивает RPC hash-кэш только весами

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10985, которая изменяет RPC-бэкенд, чтобы ограничить хеш-кэширование исключительно тензорами весов. Это изменение решает проблему, когда данные активации ненужно хешировались и сохранялись, что приводило к чрезмерному использованию диска.

Функции `ggml_backend_rpc_buffer_set_tensor` и `ggml_backend_rpc_set_tensor_async` теперь хешируют передачи только для буферов, помеченных как `GGML_BACKEND_BUFFER_USAGE_WEIGHTS`.
Новый байт `cache_flag` в сообщении SET_TENSOR сигнализирует о том, когда следует сохранять запись кэша, заменяя предыдущую логику состояния ожидания на стороне сервера.

Эта оптимизация предотвращает заполнение дискового пространства вычислительными данными, обеспечивая кэширование только весов через хеш-путь.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10984 добавляет поддержку CUDA для SUM_ROWS с непрерывным расположением строк

Проект llama.cpp выпустил версию b10984, добавляющую поддержку CUDA для операций SUM_ROWS с непрерывным расположением строк. Это обновление также организует код для включения GGML_OP_MEAN для обработки тензоров с непрерывным расположением строк через общее ядро.

github llama.cpp · 3 ч назад · 2 просмотра

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp добавляет ядра Metal FA для HSK=96, HSV=64 MiniCPM3

Проект llama.cpp добавил поддержку ядра Flash Attention (FA) для конкретной конфигурации, используемой в MiniCPM3 на Apple Silicon. Это изменение устраняет сбой, при котором флаг `-fa auto` завершался ошибкой из-за отсутствия инициализации ядра для длины ключа внимания 96 и длины значения 64.

github llama.cpp · 18 ч назад · 3 просмотра

Выпуск llama.cpp b10970 использует накопление fp32 на устройствах MFMA

Проект llama.cpp выпустил версию b10970, которая включает техническое обновление бэкенда fattn-mma. Это изменение реализует использование аккумуляторов fp32 специально для устройств архитектуры CDNA.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10956 добавляет radix select для больших k в SYCL top_k

Релиз llama.cpp b10956 внедряет алгоритм radix select для бэкенда SYCL, чтобы обрабатывать большие значения k в операции TOP_K, которая ранее переключалась на CPU при k > 32. Это изменение позволяет обрабатывать большие k непосредственно на GPU, используя проходы на основе гистограммы, которые сохраняют объём используемой разделяемой локальной памяти независимым от k.