github llama.cpp · 18 ч назад · inference

llama.cpp b10702 оптимизирует скалярное произведение Q2_0 для AMD gfx1201

Переведено с English → Русский

Проект llama.cpp выпустил версию b10702, которая включает специфическую оптимизацию пути скалярного произведения квантования Q2_0 для архитектуры AMD gfx1201. Это обновление расширяет реализацию HIP, чтобы использовать нативные инструкции перестановки amdgcn, улучшая производительность для этой конкретной конфигурации оборудования.

Оптимизирует `vec_dot_q2_0_q8_1` с нативной перестановкой amdgcn для gfx1201.
Расширяет оптимизацию перестановки Q2_0 в HIP и удаляет избыточные проверки доступности.
Оптимизирует распаковку MMQ Q2_0 в HIP с использованием нативных инструкций перестановки.
Восстанавливает обработку индекса тайла MMQ и помечает защитные макросы препроцессора HIP в коде CUDA.

Эт релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для процессоров, графических ускорителей (CUDA, ROCm, Vulkan, OpenCL) и специализированных бэкендов, таких как OpenVINO и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 4 ч назад · 3 просмотра

Выпуск llama.cpp b10717 улучшает получение информации о памяти SYCL

Проект llama.cpp выпустил версию b10717, которая включает конкретное улучшение бэкенда SYCL для GPU Intel. Это обновление улучшает возможность получения информации о свободной памяти за счет использования API L0 SYCL.

github llama.cpp · 10 ч назад · 3 просмотра

llama.cpp b10712 добавляет Vulkan top-k radix select для Qwen 3.8 Flash Next

Проект llama.cpp выпустил сборку b10712, представляющую новый шейдер сортировки radix top-k для Vulkan, предназначенный для поддержки значений k, больших или равных 1024. Это обновление специально нацелено на модель Qwen 3.8 Flash Next и включает соответствующие тесты, а также слияние top-k qsa.

github llama.cpp · 17 ч назад · 6 просмотров

llama.cpp b10705 улучшает обработку TENSOR_READ_LAZY

Проект llama.cpp выпустил версию b10705, которая включает улучшение механизма обработки TENSOR_READ_LAZY. Это обновление принудительно загружает ленивые тензоры на CPU при включенной настройке.

github llama.cpp · 1 д назад · 6 просмотров

llama.cpp b10691 исправляет падение Metal из-за null-pipeline при умножении F16 mul_mat

Проект llama.cpp выпустил сборку b10691, которая устраняет критическую проблему стабильности в бэкенде Metal. Обновление конкретно решает проблему падения из-за null-pipeline, возникающую при операциях умножения исходных данных F16.