github llama.cpp · 3 д назад · inference

llama.cpp b10830 добавляет флаг --fuse-qkv для преобразования HF в GGUF

Переведено с English → Русский

Проект llama.cpp выпустил версию b10830, внедряющую новую опцию командной строки для преобразования моделей. Это обновление добавляет флаг `--fuse-qkv`, который позволяет пользователям объединять матрицы Query, Key и Value в единую структуру QKV во время преобразования из формата Hugging Face в GGUF.

В релиз включены бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с бэкендами CPU, Vulkan, ROCm, OpenVINO и SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO и SYCL) и openEuler.
Поддержка iOS предоставляется через XCFramework, в то время как поддержка KleidiAI на macOS Apple Silicon в настоящее время отключена.

Это обновление предоставляет пользователям более эффективный путь преобразования для моделей, которые выигрывают от объединенных механизмов внимания.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 д назад · 2 просмотра

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10844 добавляет гиперсвязанные объединённые операции Vulkan для DeepSeek-V4

Проект llama.cpp выпустил версию b10844, добавившую поддержку гиперсвязанных объединённых операций (DSV4_HC_COMB/PRE/POST) для DeepSeek-V4 в бэкенде Vulkan. Это обновление доводит Vulkan до уровня CUDA и Metal в отношении этих конкретных оптимизаций.

github llama.cpp · 3 д назад · 4 просмотра

llama.cpp b10842 добавляет поддержку HIP для gfx90c

Проект llama.cpp выпустил сборку b10842, которая добавляет поддержку архитектуры gfx90c через HIP.

media Hugging Face Forums · 3 д назад · 8 просмотров

AI Model Radar запускается с точным подбором оборудования для открытых моделей

Новый сайт AI Model Radar помогает пользователям определить, какие открытые модели действительно подходят для их GPU или Mac, используя измеренные данные вместо оценок. Платформа вычисляет размеры весов на основе реальных опубликованных файлов GGUF и рассчитывает кэш контекста слой за слоем по конфигурациям моделей.