github llama.cpp · только что · inference

llama.cpp b10921 выравнивает привязки тензоров WebGPU по размеру блока

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10921, которая включает исправление для WebGPU путем выравнивания привязок тензоров по размеру блока типа. Это изменение гарантирует, что представления с блочным квантованием получают корректное смещение элемента в шейдере, проходя назад по смещению привязки до тех пор, пока расстояние до тензора не станет целым числом блоков.

Релиз предоставляет бинарные файлы и фреймворки для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu с CPU, Vulkan, ROCm, OpenVINO и SYCL бэкендами), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm) и openEuler.

Это обновление обеспечивает корректную обработку тензоров в шейдерах WebGPU, сохраняя поддержку широкого спектра аппаратных архитектур и реализаций бэкендов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 23 ч назад · 1 просмотр

llama.cpp b10906 исправляет спекуляцию после изображения в сервере

Проект llama.cpp выпустил версию b10906, которая включает исправление для компонента сервера, касающегося спекулятивного декодирования после ввода изображений. Изменение гарантирует, что фактическая позиция передается драфтеру вместо количества токенов, что влияет на всех драфтеров, а не только на DFlash.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10899 добавляет оптимизации Vulkan для Qwen и поддержку split_k

Проект llama.cpp выпустил версию b10899, внедряя специфические улучшения производительности в свой бэкенд Vulkan. Обновление сосредоточено на оптимизации матричных операций для семейства моделей Qwen и улучшении общей производительности при малых значениях M.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b10896 исправляет сбой декодирования DFlash для моделей с зрением

Проект llama.cpp выпустил сборку b10896, которая устраняет критическую проблему, при которой память драфтера не могла выделять новые токены при использовании DFlash с моделями с зрением. Этот сбой происходил из-за того, что изображения сообщали фиксированное смещение, препятствуя правильному выделению токенов.

github llama.cpp · 4 д назад · 2 просмотра

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

github llama.cpp · 4 д назад · 5 просмотров

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.