github llama.cpp · только что · inference

llama.cpp b10727 добавляет поддержку конкатенации для квантованных типов

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10727, которая вводит поддержку конкатенации для квантованных типов данных. Это обновление получило помощь от DeepSeek-V4-Flash-0731 и включает бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, ROCm и Vulkan.

Релиз предоставляет предварительно скомпилированные бинарные файлы для нескольких платформ и архитектур:

macOS Apple Silicon (arm64) и Intel (x64)
iOS через XCFramework
Дистрибутивы Linux, включая Ubuntu x64, arm64, s390x и варианты с поддержкой Vulkan, ROCm 7.14, OpenVINO и SYCL
Windows x64 и arm64 с вариантами CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 7.14
Android arm64 (CPU)
Конфигурации openEuler x86 и aarch64

Это обновление позволяет пользователям использовать новую функциональность конкатенации квантованных данных в широком спектре поддерживаемых операционных систем и аппаратных ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад · 1 просмотр

llama.cpp b10726 ускоряет обработку промптов для больших пакетов IQ-моделей с помощью AVX2

Проект llama.cpp выпустил версию b10726, которая вносит значительные оптимизации производительности для обработки больших размеров пакетов в IQ-квантованных моделях. Основное обновление использует инструкции AVX2 для ускорения сеточных IQ-квантований через пакетные операции GEMM.

github llama.cpp · 4 ч назад · 2 просмотра

llama.cpp b10723 настраивает пути квантования OpenCL для GPU Intel Xe-LP

Проект llama.cpp выпустил версию b10723, которая включает специфические оптимизации для OpenCL на графическом оборудовании Intel Xe-LP. Обновление сосредоточено на улучшении производительности генерации тензоров (TG) и префиллинга (PP) за счет настройки ядер квантования.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10718 расширяет слияние MOE на specdec и многотокенный режим

Проект llama.cpp выпустил версию b10718, которая включает значительное обновление бэкенда CUDA. Наиболее заметным изменением является расширение слияния Mixture of Experts (MOE) для поддержки спекулятивного декодирования (specdec), что устраняет предыдущие ограничения, при которых слияние MOE glu и topk-router было ограничено обработкой только одного токена за раз.

github llama.cpp · 9 ч назад · 3 просмотра

Выпуск llama.cpp b10717 улучшает получение информации о памяти SYCL

Проект llama.cpp выпустил версию b10717, которая включает конкретное улучшение бэкенда SYCL для GPU Intel. Это обновление улучшает возможность получения информации о свободной памяти за счет использования API L0 SYCL.

github llama.cpp · 15 ч назад · 3 просмотра

llama.cpp b10712 добавляет Vulkan top-k radix select для Qwen 3.8 Flash Next

Проект llama.cpp выпустил сборку b10712, представляющую новый шейдер сортировки radix top-k для Vulkan, предназначенный для поддержки значений k, больших или равных 1024. Это обновление специально нацелено на модель Qwen 3.8 Flash Next и включает соответствующие тесты, а также слияние top-k qsa.