github llama.cpp · 1 ч назад · inference

Выпуск llama.cpp b10538 с деquantизированным KV-кэшем для больших батчей

Переведено с English → Русский

Проект llama.cpp выпустил версию b10538, внедряющую ключевую оптимизацию в бэкенд metal. Это обновление позволяет деquantизировать кэш ключей и значений (KV) исключительно для больших размеров батчей.

Основное изменение касается бэкенда metal, который теперь применяет деquantизированный KV-кэш только при обработке больших батчей.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Поддержка KleidiAI на Apple Silicon для macOS и ROCm 7.14 на Ubuntu отключена в этом выпуске.

Эта оптимизация направлена на улучшение эффективности использования памяти или производительности для рабочих нагрузок с большими размерами батчей на совместимом оборудовании.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b10545 исправляет чтение за пределами массива при умножении матриц Metal для K, не кратного 32

Проект llama.cpp выпустил сборку b10545, которая устраняет критическую ошибку в ядре умножения матриц тензорного API бэкенда Metal. Обновление предотвращает неопределённое поведение и искажённые результаты при обработке тензоров, у которых размерность K не кратна 32.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10532 добавляет деквантование Metal KV для Flash Attention

Проект llama.cpp выпустил версию b10532, вводя этап предварительной обработки на бэкенде Metal, который деквантует квантованные ключ-значения (KV) кэши до F16 перед выполнением Flash Attention.

github llama.cpp · 6 ч назад · 1 просмотр

llama.cpp b10519 рефакторинг обработки сна для доступа к метрикам

Проект llama.cpp выпустил версию b10519, которая включает значительный рефакторинг механизма обработки сна сервера. Это изменение позволяет эндпоинту /metrics оставаться доступным, пока сервер находится в спящем состоянии.

github llama.cpp · 9 ч назад · 2 просмотра

llama.cpp b10517 добавляет оптимизации деquant для Vulkan FA и исправления

Проект llama.cpp выпустил сборку b10517, внедряя несколько улучшений, специфичных для Vulkan, в путь деквантования flash attention (FA). Ключевые изменения включают деквантование q8_0 KV один раз в coopmat1, пропуск пути FA dequant на coopmat2 и исключение Intel Xe1 из пути FA dequant.

media r/LocalLLaMA · 14 ч назад · 2 просмотра

Модель MoE G9v3-39A5B демонстрирует сильные результаты на artificialanalysis

Модель G9v3-39A5B привлекает внимание благодаря своей производительности на artificialanalysis, где она, по сообщениям, занимает позицию выше Qwen 3.6 27B.