github llama.cpp · 1 ч назад · inference

llama.cpp b10505 добавляет пресет dedup-cache-models

Переведено с English → Русский

Проект llama.cpp выпустил версию b10505, которая вводит новую опцию пресета `dedup-cache-models` для компонента сервера.

Релиз включает бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.
Поддержка KleidiAI для macOS Apple Silicon отключена в этой сборке.
Поддержка Ubuntu x64 ROCm 7.14 также отключена.
Новый пакет пользовательского интерфейса доступен для загрузки вместе с платформозависимыми бинарными файлами.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Квантование магнитуды КВ-кэша по Фурье удваивает длину контекста при том же объёме памяти

ntrillard демонстрирует, что квантование спектра магнитуды значений K и V кэша до 4 бит с сохранением фазы в полной точности обеспечивает совпадение токенов на уровне 96.9% по сравнению с эталоном fp16 для Gemma-3-1B, что представляет собой улучшение в 5–10 раз по сравнению со стандартным квантованием min-max.

github llama.cpp · 4 д назад · 26 просмотров

llama.cpp добавляет поддержку модели Kimi-K3 с MXFP4-репакингом и шаблоном чата

Проект llama.cpp добавил поддержку текстовой модели Kimi-K3, реализовав её гибридную архитектуру внимания KDA (линейная) + MLA (полная), а также пять специфических архитектурных особенностей, отсутствующих в более старой модели Kimi-Linear-48B.

github llama.cpp · 4 д назад · 21 просмотр

llama.cpp b10447 перерабатывает модель потоков yield_to_queue

Проект llama.cpp выпустил сборку b10447, включающую переработку модели потоков `yield_to_queue`. Это изменение предполагает запуск `common_speculative_process` в рабочем потоке и замену дизайна взаимодействия рабочего потока с главным.

github llama.cpp · 4 д назад · 21 просмотр

llama.cpp b10444 добавляет поддержку моделей-ассистентов MTP и убирает eagle3

Проект llama.cpp выпустил версию b10444, добавляющую поддержку загрузки ассистентных моделей Multi-Token Prediction (MTP) через флаг `--models-dir`. Это обновление также включает строгую проверку префикса для моделей MTP в пресетах и убирает поддержку типа черновика eagle3.

github llama.cpp · 5 д назад · 19 просмотров

llama.cpp b10442 добавляет Vulkan SHMEM_STRIDE_PAD для Intel Xe и исправляет чтение за пределами массива

Проект llama.cpp выпустил версию b10442, внедряя специфические оптимизации Vulkan для оборудования Intel Xe, одновременно решая проблемы безопасности памяти в routines умножения матриц.