github llama.cpp · 2 ч назад · inference

llama.cpp b10305 добавляет поддержку SYCL для операций DSv4

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10305, которая вводит поддержку специфических операций DSv4 в бэкенде SYCL. Это обновление включает реализацию операторов LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST и DSV4_HC_PRE.

Добавлена поддержка операций DSv4: LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST и DSV4_HC_PRE в бэкенде SYCL.
Обновления файла документации ops.md.
Исправлены проблемы форматирования в кодовой базе.

Этот релиз предоставляет двоичные файлы для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu с CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и платформ openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10307 исправляет парсинг SYCL NVFP4

Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.

github llama.cpp · 2 ч назад

llama.cpp b10306 добавляет плоский путь GLU для SYCL и объединяет ядра

Релиз llama.cpp b10306 вносит оптимизации производительности для бэкенда SYCL, конкретно направленные на операции Gated Linear Unit (GLU). Обновление добавляет непрерывный быстрый путь для объединённых операций GLU и объединяет ранее различные ядра для использования общего загрузчика.

github llama.cpp · 16 ч назад

llama.cpp b10298 добавляет функцию сохранения/загрузки чанков mtmd

Проект llama.cpp выпустил сборку b10298, которая вводит новую функцию сохранения и загрузки чанков для модуля mtmd. Это обновление также включает очистку кода и дополнительные тесты.

github llama.cpp · 1 д назад · 3 просмотра

llama.cpp b10293 добавляет CI для ROCm с gfx1151 и исправляет вывод на RDNA3.5

Проект llama.cpp выпустил сборку b10293, которая включает интеграцию непрерывной интеграции AMD ROCm для архитектуры gfx1151 и устраняет проблемы корректности на интегрированных GPU с архитектурой RDNA3.5.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10291 исправляет пакетную обработку отправки Vulkan и добавляет инструменты отладки DeviceLost

Проект llama.cpp выпустил версию b10291, которая включает критические исправления для бэкенда Vulkan наряду со стандартными обновлениями платформы. Основные технические изменения касаются проблем с размером пакетов отправки и внедряют новые диагностические возможности для ошибок драйвера.