github llama.cpp · 12 ч назад · inference

llama.cpp b10989 включает AllReduce для ROCm и предоставляет мультиплатформенные бинарные файлы

Переведено с English → Русский

Проект llama.cpp выпустил версию b10989, которая добавляет поддержку включения операций AllReduce в бэкенде ROCm. Это обновление является частью текущей разработки по расширению аппаратной совместимости и возможностей распределённых вычислений для вывода больших языковых моделей.

Релиз включает предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows и Android.
Опции ускорения GPU расширены и включают CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16 и ROCm 10.0 на поддерживаемых платформах.

Предоставлены специфичные сборки для архитектур openEuler x86 и aarch64, включая поддержку ACL Graph для процессоров 910b.
Также доступен автономный бинарный файл пользовательского интерфейса alongside релизами основной библиотеки.

Это обновление позволяет пользователям использовать GPU AMD на базе ROCm с функциональностью AllReduce, одновременно предоставляя обновлённые бинарные файлы для различных операционных систем и аппаратных ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 4 ч назад · 1 просмотр

llama.cpp b10995 делает хвост BN/2 операции MUL_MAT_ID в Vulkan безусловным

Проект llama.cpp выпустил сборку b10995, которая изменяет обработку операции MUL_MAT_ID бэкендом Vulkan. В частности, изменение делает хвост BN/2 безусловным, используя BN/2 по умолчанию для BNover2 и в качестве отключенного резервного варианта для BNover4, одновременно убирая управляющий переключатель из этой ветви.

github llama.cpp · 16 ч назад · 1 просмотр

llama.cpp b10988 добавляет выбор умножения матриц экспертов MoE через OpenCL для спекулятивного декодирования

Проект llama.cpp выпустил сборку b10988, внося изменения в бэкенд OpenCL специально для моделей Mixture of Experts (MoE). Обновление реализует логику выбора умножения матриц экспертов MoE на основе размера пакета во время спекулятивного декодирования и предсказания нескольких токенов.

github llama.cpp · 21 ч назад · 1 просмотр

llama.cpp b10984 добавляет поддержку CUDA для SUM_ROWS с непрерывным расположением строк

Проект llama.cpp выпустил версию b10984, добавляющую поддержку CUDA для операций SUM_ROWS с непрерывным расположением строк. Это обновление также организует код для включения GGML_OP_MEAN для обработки тензоров с непрерывным расположением строк через общее ядро.

github llama.cpp · 21 ч назад · 1 просмотр

llama.cpp b10985 ограничивает RPC hash-кэш только весами

Проект llama.cpp выпустил сборку b10985, которая изменяет RPC-бэкенд, чтобы ограничить хеш-кэширование исключительно тензорами весов. Это изменение решает проблему, когда данные активации ненужно хешировались и сохранялись, что приводило к чрезмерному использованию диска.

github llama.cpp · 1 д назад · 4 просмотра

llama.cpp b10981 исправляет декодирование с состоянием для Gemma-4 и оптимизирует GPU MoE вывод

Выпуск llama.cpp b10981 устраняет критические проблемы корректности в пути декодирования с состоянием бэкенда OpenVINO, конкретно исправляя поддержку моделей вроде Gemma-4, использующих размеры голов на слой. Он также вносит оптимизации для вывода GPU Mixture of Experts (MoE) и улучшает производительность через перераспределение состояния KV.