github llama.cpp · 3 д назад · inference

llama.cpp b10842 добавляет поддержку HIP для gfx90c

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10842, которая добавляет поддержку архитектуры gfx90c через HIP.

ggml добавляет поддержку HIP для gfx90c и обеспечивает соответствие спецификациям.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android и openEuler.
В релиз также включен обновленный пакет пользовательского интерфейса.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10844 добавляет гиперсвязанные объединённые операции Vulkan для DeepSeek-V4

Проект llama.cpp выпустил версию b10844, добавившую поддержку гиперсвязанных объединённых операций (DSV4_HC_COMB/PRE/POST) для DeepSeek-V4 в бэкенде Vulkan. Это обновление доводит Vulkan до уровня CUDA и Metal в отношении этих конкретных оптимизаций.

media Hugging Face Forums · 3 д назад · 8 просмотров

AI Model Radar запускается с точным подбором оборудования для открытых моделей

Новый сайт AI Model Radar помогает пользователям определить, какие открытые модели действительно подходят для их GPU или Mac, используя измеренные данные вместо оценок. Платформа вычисляет размеры весов на основе реальных опубликованных файлов GGUF и рассчитывает кэш контекста слой за слоем по конфигурациям моделей.

github llama.cpp · 3 д назад · 7 просмотров

llama.cpp b10840 добавляет безветвление Q4_K/Q5_K распаковку и L2 предвыборку для CUDA

Проект llama.cpp выпустил версию b10840, которая вводит оптимизации производительности для вывода CUDA. Обновление реализует вычисления без ветвления для форматов квантования Q4_K и Q5_K для ускорения умножения матрицы на вектор (mmvq).