github llama.cpp · 2 д назад · inference

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Переведено с English → Русский

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

Обновление откатывает изменения, кроме отключения ленивой загрузки на iGPU в конфигурации AUTO.
Исправляется регрессия iGPU путем добавления автоматического исправления режима lazy mode.
Предварительно собранные бинарные файлы доступны для macOS, Linux, Windows, Android и openEuler для CPU, CUDA, Vulkan, ROCm и других бэкендов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10844 добавляет гиперсвязанные объединённые операции Vulkan для DeepSeek-V4

Проект llama.cpp выпустил версию b10844, добавившую поддержку гиперсвязанных объединённых операций (DSV4_HC_COMB/PRE/POST) для DeepSeek-V4 в бэкенде Vulkan. Это обновление доводит Vulkan до уровня CUDA и Metal в отношении этих конкретных оптимизаций.

github llama.cpp · 3 д назад · 4 просмотра

llama.cpp b10842 добавляет поддержку HIP для gfx90c

Проект llama.cpp выпустил сборку b10842, которая добавляет поддержку архитектуры gfx90c через HIP.

media Hugging Face Forums · 3 д назад · 8 просмотров

AI Model Radar запускается с точным подбором оборудования для открытых моделей

Новый сайт AI Model Radar помогает пользователям определить, какие открытые модели действительно подходят для их GPU или Mac, используя измеренные данные вместо оценок. Платформа вычисляет размеры весов на основе реальных опубликованных файлов GGUF и рассчитывает кэш контекста слой за слоем по конфигурациям моделей.

github llama.cpp · 3 д назад · 7 просмотров

llama.cpp b10840 добавляет безветвление Q4_K/Q5_K распаковку и L2 предвыборку для CUDA

Проект llama.cpp выпустил версию b10840, которая вводит оптимизации производительности для вывода CUDA. Обновление реализует вычисления без ветвления для форматов квантования Q4_K и Q5_K для ускорения умножения матрицы на вектор (mmvq).