github llama.cpp · 2 ч назад · inference

llama.cpp b10813 добавляет путь Adreno xmem SDPA и исправляет численные ошибки

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10813, которая внедряет реализацию OpenCL для GPU Adreno с использованием пути xmem SDPA (Scaled Dot-Product Attention). Это обновление также устраняет численные ошибки в механизмах GQA и маскированного внимания.

Добавлен путь Adreno xmem SDPA для ускорения OpenCL.
Удалено специфичное для Adreno переопределение профилирования очередей.
Исправлены численные ошибки в GQA и маскированном внимании.
Введена переменная окружения GGML_OPENCL_XMEM_SDPA для управления функцией.

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, GPU и специализированных аппаратных бэкендов.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10814 расширяет поддержку элементарных операций и перемещения данных OpenCL

Выпуск llama.cpp b10814 расширяет поддержку бэкенда OpenCL за счёт добавления девяти новых унарных элементарных операций и улучшения ядер перемещения данных.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10816 добавляет настройки fa-vec для M3 и новые бинарники

Проект llama.cpp выпустил версию b10816, которая включает обновления бэкенда Metal для устройств на базе Apple Silicon. Выпуск сосредоточен на добавлении оставшихся настроек fast-vector специально для архитектуры чипа M3.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp 0.4.0 добавляет поддержку Qwen3.8-Flash-Next и Nemotron-3-Puzzle

llama.cpp версии 0.4.0 вводит начальную архитектурную поддержку моделей Qwen3.8-Flash-Next и NVIDIA Nemotron-3-Puzzle-75B-A9B, а также обновление базовой библиотеки ggml до версии 0.23.0.

github llama.cpp · 8 ч назад · 1 просмотр

llama.cpp b10798 делает поток вывода информации о сборке настраиваемым

Проект llama.cpp выпустил версию b10798, внося изменение, позволяющее настроить поток вывода информации о сборке. Это обновление позволяет `llama_print_build_info` записывать данные в предоставленный вызывающей стороной FILE*, вместо жёсткого кодирования stderr.

github llama.cpp · 16 ч назад · 1 просмотр

llama.cpp b10796 добавляет n_expert_used_max для исправления загрузки Nemotron-3-Puzzle

Проект llama.cpp выпустил сборку b10796, которая включает изменение в загрузчике моделей для поддержки моделей с различным количеством экспертов на слой.