github llama.cpp · 3 ч назад · inference

llama.cpp b10886 добавляет поддержку векторных встроенных функций Q1_0 для s390x

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10886, которая внедряет поддержку векторных встроенных функций Q1_0 для архитектуры s390x. Это обновление включает реализацию `ggml_vec_dot_q1_0_q8_0` и обновляет документацию, чтобы отразить новую возможность.

ggml-cpu добавляет поддержку `ggml_vec_dot_q1_0_q8_0` для s390x.
Именование переменных в ggml-cpu было очищено для лучшей читаемости.
Документация была обновлена, чтобы включить поддержку квантования Q1_0.

Этот релиз предоставляет бинарные файлы для macOS, Linux (включая Ubuntu x64, arm64 и s390x), Android, Windows и openEuler на различных аппаратных бэкендах, таких как CPU, Vulkan, ROCm, OpenVINO, SYCL и CUDA.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10888 добавляет метки отладки командных буферов для профилировщиков GPU

Проект llama.cpp выпустил сборку b10888, которая включает новую функцию добавления меток отладки командных буферов для профилировщиков GPU во бэкенде Vulkan.

github llama.cpp · 17 ч назад · 1 просмотр

llama.cpp b10883 исправляет умножение матриц Vulkan и восстанавливает оптимизации Ampere

Проект llama.cpp выпустил сборку b10883, включающую значительные обновления бэкенда Vulkan. Основное изменение заключается в использовании спецификационных констант для операций умножения матрица-на-матрицу типа A с целью улучшения компиляции шейдеров и производительности.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10870 добавляет конвейеры матричного умножения f16 B-типа и настройку размера тайла потока для Intel coopmat1

Проект llama.cpp выпустил версию b10870, внедряющую поддержку Vulkan для конвейеров матричного умножения f16 B-типа и настройку размера тайла потока специально для оборудования Intel coopmat1.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10871 добавляет выделенный шейдер iq4_xs mat-vec для Vulkan

Проект llama.cpp выпустил сборку b10871, вводящую выделенный шейдер mul_mat_vec_iq4_xs для пути dmmv в Vulkan. Это изменение заменяет предыдущую универсальную реализацию по умолчанию, чтобы повысить производительность на оборудовании RDNA4.

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10863 исправляет простаивающие потоки в Metal mul_mv_iq3_xxs для малых матриц

Проект llama.cpp выпустил сборку b10863, которая включает исправление простаивающих потоков в ядре `mul_mv_iq3_xxs` на Metal при условии, что `ne00` меньше 1024. Обновление решает проблему полупростаивающего simdgroup путем введения отдельного разделенного ядра для определенных размеров матриц.