github llama.cpp · 1 ч назад · inference

llama.cpp b10610 сокращает имена виртуальных устройств в CUDA и Metal

Переведено с English → Русский

Проект llama.cpp выпустил версию b10610, которая включает изменение для сокращения имен виртуальных устройств во внутреннем бэкенде ggml как для платформ CUDA, так и Metal.

Обновление изменяет способ именования виртуальных устройств в бэкендах CUDA и Metal для уменьшения избыточности.
Сборки macOS Apple Silicon с поддержкой KleidiAI в этом релизе остаются отключенными.
Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android и openEuler.

Этот релиз предоставляет обновленные бинарные файлы для различных аппаратных ускорителей и операционных систем, одновременно уточняя внутренние строки идентификации устройств.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 6 ч назад · 17 просмотров

llama.cpp b10605 выравнивает проекции mamba2 для диспетчеризации GEMM

Проект llama.cpp выпустил сборку b10605, которая включает ключевую оптимизацию для архитектуры Mamba2. Обновление выравнивает входные и выходные проекции моделей Mamba2 для диспетчеризации операций умножения общих матриц (GEMM) вместо операций умножения общей матрицы на вектор (GEMV).

github llama.cpp · 20 ч назад · 12 просмотров

llama.cpp b10603 добавляет поддержку MTP для GLM-4.5-Air

Проект llama.cpp выпустил сборку b10603, которая внедряет поддержку многозадачного предсказания (MTP) для модели GLM-4.5-Air.

github llama.cpp · 2 д назад · 6 просмотров

ggml оптимизирует операцию конкатенации, заменяя побайтовое копирование памяти на посимвольное

Библиотека ggml оптимизировала свою операцию конкатенации, заменив побайтовое копирование памяти на посимвольные операции memcpy. Это изменение является частью выпуска b10578 библиотеки llama.cpp, который включает различные платформозависимые бинарные файлы и обновления в вычислительном графе.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b10576 добавляет переупорядоченные MMVQ и ESIMD ядра Q2_K для SYCL

Проект llama.cpp выпустил сборку b10576, которая повторно добавляет переупорядоченные ядра MMVQ и ESIMD Q2_K для поддержки SYCL. Это изменение фактически отменяет предыдущий коммит, удаливший эти конкретные реализации ядер.

github llama.cpp · 2 д назад · 6 просмотров

llama.cpp b10577 исправляет draft-mtp с эмбеддингами

Проект llama.cpp выпустил сборку b10577, которая включает исправление для draft-mtp при использовании с эмбеддингами. Это обновление устраняет проблемы #26352 и #27299.