github llama.cpp · 3 ч назад · inference

llama.cpp b10657 добавляет бинарные ядра OpenCL для GEMO MOE

Переведено с English → Русский

Проект llama.cpp выпустил версию b10657, вводя новые бинарные ядра OpenCL для моделей с смешанными экспертами. В частности, обновление добавляет `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` и `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` для поддержки эффективных вычислений на совместимом оборудовании.

Добавлены бинарные ядра OpenCL для GEMO MOE с квантованиями q4_0/q8_1 и mxfp4/q8_1.
Предоставлены двоичные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.
Поддержка KleidiAI на Apple Silicon в macOS остается отключенной в этом выпуске.

Это обновление расширяет совместимость оборудования для моделей с смешанными экспертами за счет включения конкретных реализаций ядер OpenCL.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · только что · 1 просмотр Live

llama.cpp b10662 добавляет ctx-per-slot для единого KV кэша

Проект llama.cpp выпустил сборку b10662, вводя новую аргумент `--kv-unified-per-slot`, позволяющий пользователям указывать контекст на слот для единого KV кэша. Это изменение заменяет предыдущий механизм доли контекста на слоты пула контекста и рефакторит базовую реализацию.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку архитектуры Qwen3.8-Flash-Next (qwen4exp)

Проект llama.cpp добавил поддержку архитектуры модели Qwen3.8-Flash-Next (qwen4exp), реализовав её специфические компоненты, включая гиперсвязи, управляемые дельта-сети, Смешивание экспертов (MoE) и вложения PLE n-gram хэшей.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10658 добавляет поддержку DFlash2 и исправляет ошибку mrope

Проект llama.cpp выпустил сборку b10658, в которой добавлена поддержка спецификации DFlash2, включающей локальную свертку и селектор кандидатов. Это обновление также устраняет конкретную ошибку mrope в кодовой базе.

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp включает HIP runtime DLL в выпуск ROCm для Windows

Проект llama.cpp обновил свой выпуск ROCm для Windows, чтобы включить необходимые DLL-файлы HIP runtime непосредственно рядом с бинарными файлами. Это изменение решает проблему #26929, гарантируя загрузку правильной версии HIP runtime вместо возможного конфликта с копией драйвера в System32.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10656 ограничивает рабочий объем памяти, чтобы избежать загрузки больших тензоров в ОЗУ

Проект llama.cpp выпустил сборку b10656, которая включает изменение для ограничения размера рабочей памяти. Эта модификация предназначена для предотвращения загрузки крупных тензоров в системную оперативную память.