media r/LocalLLaMA · 1 ч назад · open_models

Модель MoE G9v3-39A5B демонстрирует сильные результаты на artificialanalysis

Переведено с English → Русский

Модель G9v3-39A5B привлекает внимание благодаря своей производительности на artificialanalysis, где она, по сообщениям, занимает позицию выше Qwen 3.6 27B.

Это архитектура Mixture of Experts (MoE).
Существует ветка функций llama.cpp для поддержки формата G9v3.
Контрольные точки GGUF доступны через Hugging Face.

Важность 2/3 r/LocalLLaMA Inference efficiency Local inference

Оригинал

Конвейер Celestium позволяет запускать SDXL на GPU с 4–8 ГБ памяти благодаря адаптивному FP16 и резервному режиму CPU

Диагностика с использованием аппаратно-независимого конвейера вывода Celestium показывает, что Stable Diffusion XL может стабильно работать на GPU с малым объёмом VRAM (4 ГБ, 6 ГБ и 8 ГБ) за счёт адаптивной точности FP16 и автономной очистки памяти. Этот подход предотвращает скачки фрагментации при многоэтапных конвейерах и использует аварийный режим CPU для поддержания генерации при исчерпании VRAM GPU.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10505 добавляет пресет dedup-cache-models

Проект llama.cpp выпустил версию b10505, которая вводит новую опцию пресета `dedup-cache-models` для компонента сервера.

media Hugging Face Forums · 2 д назад · 3 просмотра

Квантование магнитуды КВ-кэша по Фурье удваивает длину контекста при том же объёме памяти

ntrillard демонстрирует, что квантование спектра магнитуды значений K и V кэша до 4 бит с сохранением фазы в полной точности обеспечивает совпадение токенов на уровне 96.9% по сравнению с эталоном fp16 для Gemma-3-1B, что представляет собой улучшение в 5–10 раз по сравнению со стандартным квантованием min-max.

github llama.cpp · 5 д назад · 26 просмотров

llama.cpp добавляет поддержку модели Kimi-K3 с MXFP4-репакингом и шаблоном чата

Проект llama.cpp добавил поддержку текстовой модели Kimi-K3, реализовав её гибридную архитектуру внимания KDA (линейная) + MLA (полная), а также пять специфических архитектурных особенностей, отсутствующих в более старой модели Kimi-Linear-48B.

github llama.cpp · 5 д назад · 21 просмотр

llama.cpp b10447 перерабатывает модель потоков yield_to_queue

Проект llama.cpp выпустил сборку b10447, включающую переработку модели потоков `yield_to_queue`. Это изменение предполагает запуск `common_speculative_process` в рабочем потоке и замену дизайна взаимодействия рабочего потока с главным.