github llama.cpp · 2 ч назад · inference

llama.cpp b10888 добавляет метки отладки командных буферов для профилировщиков GPU

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10888, которая включает новую функцию добавления меток отладки командных буферов для профилировщиков GPU во бэкенде Vulkan.

Обновление вводит метки отладки командных буферов для помощи в профилировании GPU.
Предварительно собранные двоичные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL), Android и iOS.

Этот релиз предоставляет обновленные двоичные файлы для нескольких платформ, добавляя специфические возможности отладки для пользователей Vulkan.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp b10886 добавляет поддержку векторных встроенных функций Q1_0 для s390x

Проект llama.cpp выпустил сборку b10886, которая внедряет поддержку векторных встроенных функций Q1_0 для архитектуры s390x. Это обновление включает реализацию `ggml_vec_dot_q1_0_q8_0` и обновляет документацию, чтобы отразить новую возможность.

github llama.cpp · 17 ч назад · 1 просмотр

llama.cpp b10883 исправляет умножение матриц Vulkan и восстанавливает оптимизации Ampere

Проект llama.cpp выпустил сборку b10883, включающую значительные обновления бэкенда Vulkan. Основное изменение заключается в использовании спецификационных констант для операций умножения матрица-на-матрицу типа A с целью улучшения компиляции шейдеров и производительности.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10870 добавляет конвейеры матричного умножения f16 B-типа и настройку размера тайла потока для Intel coopmat1

Проект llama.cpp выпустил версию b10870, внедряющую поддержку Vulkan для конвейеров матричного умножения f16 B-типа и настройку размера тайла потока специально для оборудования Intel coopmat1.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10871 добавляет выделенный шейдер iq4_xs mat-vec для Vulkan

Проект llama.cpp выпустил сборку b10871, вводящую выделенный шейдер mul_mat_vec_iq4_xs для пути dmmv в Vulkan. Это изменение заменяет предыдущую универсальную реализацию по умолчанию, чтобы повысить производительность на оборудовании RDNA4.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10863 исправляет простаивающие потоки в Metal mul_mv_iq3_xxs для малых матриц

Проект llama.cpp выпустил сборку b10863, которая включает исправление простаивающих потоков в ядре `mul_mv_iq3_xxs` на Metal при условии, что `ne00` меньше 1024. Обновление решает проблему полупростаивающего simdgroup путем введения отдельного разделенного ядра для определенных размеров матриц.