github llama.cpp · 1 ч назад · inference

llama.cpp b10519 рефакторинг обработки сна для доступа к метрикам

Переведено с English → Русский

Проект llama.cpp выпустил версию b10519, которая включает значительный рефакторинг механизма обработки сна сервера. Это изменение позволяет эндпоинту /metrics оставаться доступным, пока сервер находится в спящем состоянии.

Рефакторинг логики on_sleeping_state и разделение задач/результатов метрик и слотов.
Добавлены кэшированные ответы и исправлена гонка данных в таймере задачи метрик.
Исправлен get_res_model_info и обновлена документация.
Предоставлены бинарные файлы для macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10517 добавляет оптимизации деquant для Vulkan FA и исправления

Проект llama.cpp выпустил сборку b10517, внедряя несколько улучшений, специфичных для Vulkan, в путь деквантования flash attention (FA). Ключевые изменения включают деквантование q8_0 KV один раз в coopmat1, пропуск пути FA dequant на coopmat2 и исключение Intel Xe1 из пути FA dequant.

media r/LocalLLaMA · 9 ч назад · 2 просмотра

Модель MoE G9v3-39A5B демонстрирует сильные результаты на artificialanalysis

Модель G9v3-39A5B привлекает внимание благодаря своей производительности на artificialanalysis, где она, по сообщениям, занимает позицию выше Qwen 3.6 27B.

media Hugging Face Forums · 9 ч назад · 1 просмотр

Конвейер Celestium позволяет запускать SDXL на GPU с 4–8 ГБ памяти благодаря адаптивному FP16 и резервному режиму CPU

Диагностика с использованием аппаратно-независимого конвейера вывода Celestium показывает, что Stable Diffusion XL может стабильно работать на GPU с малым объёмом VRAM (4 ГБ, 6 ГБ и 8 ГБ) за счёт адаптивной точности FP16 и автономной очистки памяти. Этот подход предотвращает скачки фрагментации при многоэтапных конвейерах и использует аварийный режим CPU для поддержания генерации при исчерпании VRAM GPU.

github llama.cpp · 19 ч назад · 1 просмотр

llama.cpp b10505 добавляет пресет dedup-cache-models

Проект llama.cpp выпустил версию b10505, которая вводит новую опцию пресета `dedup-cache-models` для компонента сервера.

media Hugging Face Forums · 2 д назад · 3 просмотра

Квантование магнитуды КВ-кэша по Фурье удваивает длину контекста при том же объёме памяти

ntrillard демонстрирует, что квантование спектра магнитуды значений K и V кэша до 4 бит с сохранением фазы в полной точности обеспечивает совпадение токенов на уровне 96.9% по сравнению с эталоном fp16 для Gemma-3-1B, что представляет собой улучшение в 5–10 раз по сравнению со стандартным квантованием min-max.