github llama.cpp · 1 ч назад · inference

llama.cpp b10605 выравнивает проекции mamba2 для диспетчеризации GEMM

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10605, которая включает ключевую оптимизацию для архитектуры Mamba2. Обновление выравнивает входные и выходные проекции моделей Mamba2 для диспетчеризации операций умножения общих матриц (GEMM) вместо операций умножения общей матрицы на вектор (GEMV).

Выравнивает входные/выходные проекции mamba2 для включения диспетчеризации GMM вместо GEMV.
Удаляет избыточные операции перестройки выхода внутри реализации Mamba2.

Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 15 ч назад · 8 просмотров

llama.cpp b10603 добавляет поддержку MTP для GLM-4.5-Air

Проект llama.cpp выпустил сборку b10603, которая внедряет поддержку многозадачного предсказания (MTP) для модели GLM-4.5-Air.

github llama.cpp · 2 д назад · 2 просмотра

ggml оптимизирует операцию конкатенации, заменяя побайтовое копирование памяти на посимвольное

Библиотека ggml оптимизировала свою операцию конкатенации, заменив побайтовое копирование памяти на посимвольные операции memcpy. Это изменение является частью выпуска b10578 библиотеки llama.cpp, который включает различные платформозависимые бинарные файлы и обновления в вычислительном графе.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10576 добавляет переупорядоченные MMVQ и ESIMD ядра Q2_K для SYCL

Проект llama.cpp выпустил сборку b10576, которая повторно добавляет переупорядоченные ядра MMVQ и ESIMD Q2_K для поддержки SYCL. Это изменение фактически отменяет предыдущий коммит, удаливший эти конкретные реализации ядер.

github llama.cpp · 2 д назад · 6 просмотров

llama.cpp b10577 исправляет draft-mtp с эмбеддингами

Проект llama.cpp выпустил сборку b10577, которая включает исправление для draft-mtp при использовании с эмбеддингами. Это обновление устраняет проблемы #26352 и #27299.

github llama.cpp · 2 д назад · 9 просмотров

llama.cpp b10568 использует ggml_rope_set_offset() для DeepSeek 2

Проект llama.cpp выпустил сборку b10568, которая обновляет обработку моделей для использования функции `ggml_rope_set_offset()`. Это изменение частично применяется для поддержки DeepSeek 2.