github llama.cpp · только что · inference

llama.cpp b10410 убирает отдельное повышение типа fp32 в пути gemm non-oneDNN

Переведено с English → Русский

Проект llama.cpp выпустил версию b10410, которая включает изменение кода для бэкенда SYCL. Это обновление убирает отдельное повышение типа fp32 в пути GEMM non-oneDNN и вместо этого использует автоматическое повышение fp16.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) и openEuler.
Поддержка macOS Apple Silicon KleidiAI отключена в этом релизе.
Поддержка Ubuntu x64 ROCm 7.14 также отключена.
Компонент UI доступен как отдельная загрузка.

Это обновление упрощает реализацию SYCL GEMM, полагаясь на автоматическое повышение типа, а не на явную обработку.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10408 добавляет ядро Q3_K ESIMD и переносит управление в рантайм

Проект llama.cpp выпустил версию b10408, которая представляет ядро DMMV Q3_K ESIMD для графических процессоров Intel. Этот релиз также включает новые ядра Q4_K и Q6_K ESIMD и рефакторинг кодовой базы, позволяющий управлять ESIMD во время выполнения, а не на этапе компиляции.

github llama.cpp · 3 д назад

llama.cpp b10353 исправляет молчаливые неверные результаты в CUDA и Metal ROLL ядрах

Проект llama.cpp выпустил сборку b10353, которая устраняет критическую ошибку в операции ggml_roll на бэкендах CUDA и Metal. Ранее переставленные (непрерывные) исходные тензоры выдавали неверные результаты без предупреждения, поскольку эти бэкенды игнорировали информацию о шаге.

github llama.cpp · 6 д назад · 1 просмотр

llama.cpp b10321 исправляет NORM/RMS_NORM для частичных длин строк simdgroup

Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.

github llama.cpp · 7 д назад · 6 просмотров

llama.cpp b10293 добавляет CI для ROCm с gfx1151 и исправляет вывод на RDNA3.5

Проект llama.cpp выпустил сборку b10293, которая включает интеграцию непрерывной интеграции AMD ROCm для архитектуры gfx1151 и устраняет проблемы корректности на интегрированных GPU с архитектурой RDNA3.5.

github llama.cpp · 9 д назад · 3 просмотра

llama.cpp b10255 расширяет oneDNN SDPA для не-FP16 KV-кэшей

Релиз llama.cpp b10255 расширяет путь oneDNN SDPA для поддержки не-FP16 ключ-значения (KV) кэшей, включая форматы квантования Q4_0–Q8_0 и FP32. Это обновление позволяет слитому систолическому ядру выполняться идентично нативному пути FP16 за счёт деквантования или преобразования тензоров K/V в плотный FP16 на устройстве перед обработкой.