github llama.cpp · 1 ч назад · inference

llama.cpp b10293 добавляет CI для ROCm с gfx1151 и исправляет вывод на RDNA3.5

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10293, которая включает интеграцию непрерывной интеграции AMD ROCm для архитектуры gfx1151 и устраняет проблемы корректности на интегрированных GPU с архитектурой RDNA3.5.

Исправляет тест recurrent-state-rollback на gfx1151, разрешая буферы вывода хоста интегрированного GPU в утверждениях отладки.
Восстанавливает корректность вывода на RDNA3.5, включая объединенную память для обхода проблем согласованности GPU с весами, загруженными через mmap.
Устраняет ошибки асинхронного выполнения в пути HIP, используя HIP_LAUNCH_BLOCKING=1 для сериализации запуска ядер.
Пропускает тесты архитектуры jamba и подтесты top-k на бэкенде HIP из-за неподдерживаемых операций и некорректного вывода.

Это обновление обеспечивает надежное тестирование и вывод моделей llama.cpp на оборудовании AMD RDNA3.5 через ROCm.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 д назад · 1 просмотр

llama.cpp b10255 расширяет oneDNN SDPA для не-FP16 KV-кэшей

Релиз llama.cpp b10255 расширяет путь oneDNN SDPA для поддержки не-FP16 ключ-значения (KV) кэшей, включая форматы квантования Q4_0–Q8_0 и FP32. Это обновление позволяет слитому систолическому ядру выполняться идентично нативному пути FP16 за счёт деквантования или преобразования тензоров K/V в плотный FP16 на устройстве перед обработкой.

github llama.cpp · 2 д назад

llama.cpp b10246 перенаправляет большие q6_K lm_head в плоский GEMV

Проект llama.cpp выпустил версию b10246, которая включает исправление производительности OpenCL для определенных конфигураций моделей. Обновление устраняет проблему, при которой исходное условие размерности было недостаточным для обработки больших весов.

github llama.cpp · 3 д назад · 6 просмотров

llama.cpp b10236 реализует Metal DSv4 Lightning Indexer

Выпуск llama.cpp b10236 представляет реализацию Metal для DSv4 Lightning Indexer, специально поддерживающую входные данные размерностью 128 с запросами и весами F32, а также ключами и масками F16.

github llama.cpp · 6 д назад · 8 просмотров

llama.cpp b10208 добавляет oneMKL GEMM flash attention для ускорения обработки промптов на XMX

Релиз llama.cpp b10208 вводит поддержку SYCL для oneMKL GEMM flash attention, обеспечивая аппаратное ускорение XMX при обработке промптов. Это изменение значительно повышает скорость вывода на графических процессорах Intel Arc за счёт использования ядер MKL вместо стандартного пути TILE.

github llama.cpp · 8 д назад · 2 просмотра

llama.cpp b10181 отключает MMQ на устройствах с менее чем 48 КиБ общей памяти

Проект llama.cpp выпустил сборку b10181, которая включает исправление в ggml-cuda для отключения квантования матричного умножения (MMQ) на GPU с менее чем 48 КиБ разделяемой памяти на блок. Ранее конфигурации MMQ предполагали минимальный объем в 48 КиБ, что приводило к фатальным ошибкам на устройствах, таких как NVIDIA Pascal и Moore Threads MTT S70, где размер тайла превышал доступную память.