github llama.cpp · 3 д назад · inference

llama.cpp b10835 исправляет расходящийся барьер в ggml-cuda для f16 flash attention

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10835, которая содержит исправление проблемы с расходящимся барьером в реализации ggml-cuda для f16 flash attention. Это обновление также устраняет дублирование настройки указателя метаданных в том же модуле.

Исправляет расходящийся барьер в ggml-cuda f16 flash attention (PR #27870).
Предотвращает дублирование настройки указателя метаданных в ggml-cuda.

Этот релиз предоставляет обновленные бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных CPU и GPU бэкендов, включая CUDA, Vulkan, ROCm и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10844 добавляет гиперсвязанные объединённые операции Vulkan для DeepSeek-V4

Проект llama.cpp выпустил версию b10844, добавившую поддержку гиперсвязанных объединённых операций (DSV4_HC_COMB/PRE/POST) для DeepSeek-V4 в бэкенде Vulkan. Это обновление доводит Vulkan до уровня CUDA и Metal в отношении этих конкретных оптимизаций.

github llama.cpp · 3 д назад · 4 просмотра

llama.cpp b10842 добавляет поддержку HIP для gfx90c

Проект llama.cpp выпустил сборку b10842, которая добавляет поддержку архитектуры gfx90c через HIP.

media Hugging Face Forums · 3 д назад · 8 просмотров

AI Model Radar запускается с точным подбором оборудования для открытых моделей

Новый сайт AI Model Radar помогает пользователям определить, какие открытые модели действительно подходят для их GPU или Mac, используя измеренные данные вместо оценок. Платформа вычисляет размеры весов на основе реальных опубликованных файлов GGUF и рассчитывает кэш контекста слой за слоем по конфигурациям моделей.