github llama.cpp · только что · inference

llama.cpp b10780 улучшает SYCL API для поддержки копирования между узлами

Переведено с English → Русский

Проект llama.cpp выпустил версию b10780, которая включает конкретное улучшение бэкенда SYCL. Это обновление изменяет API, чтобы включить возможности копирования между узлами (peer-to-peer copy) для устройств SYCL.

Выпуск предоставляет двоичные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 и arm64), Android и openEuler.
Поддерживаемые аппаратные бэкенды включают CPU, Vulkan, ROCm 10.0, OpenVINO, CUDA 12/13 и SYCL.
Сборки macOS Apple Silicon с KleidiAI в этой версии временно отключены.
Поддержка CUDA 13 для Windows arm64 помечена как предварительная версия (preview release).

Это обновление позволяет пользователям использовать новую функцию копирования между узлами внутри реализации SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp добавляет поддержку NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp вводит поддержку модели NVIDIA Nemotron-3-Puzzle-75B-A9B, обеспечивая вывод для этой архитектуры Mixture of Experts. Обновление реализует инфраструктуру для переменных размеров feed-forward экспертов на слой и маршрутизации top-k, что необходимо, поскольку модель имеет 40 слоев MoE с различными значениями n_ff_exp и top-k.

github llama.cpp · 1 ч назад · 1 просмотр Live

llama.cpp b10777 сокращает избыточную работу в Q4_K multi-column MMVQ

Проект llama.cpp выпустил сборку b10777, включающую оптимизации бэкенда SYCL для умножения матрицы на вектор (MMVQ) с использованием Q4_K и нескольких столбцов. Обновление сосредоточено на сокращении избыточных вычислений за счёт распаковки весов и повторного использования активаций.

github llama.cpp · 14 ч назад · 2 просмотра

llama.cpp b10766 добавляет поддержку зрения DeepSeek 4

Проект llama.cpp выпустил сборку b10766, которая включает исправление для правильной поддержки входного зрения для модели DeepSeek 4.

github llama.cpp · 15 ч назад · 4 просмотра

llama.cpp b10762 добавляет поддержку DeepSeek-V4-Flash-Vision-Exp

Проект llama.cpp выпустил сборку b10762, которая добавляет поддержку модели DeepSeek-V4-Flash-Vision-Exp. Это обновление также включает обработку минимального и максимального количества токенов через интерфейс командной строки.

github llama.cpp · 23 ч назад · 1 просмотр

llama.cpp b10758 добавляет слияние MUL_MAT и MUL_MAT_ID для Hexagon

Проект llama.cpp выпустил сборку b10758, внедряющую возможности слияния MUL_MAT и MUL_MAT_ID для DSP Hexagon. Это обновление также включает несколько исправлений для повышения стабильности и производительности на оборудовании Qualcomm.