github llama.cpp · только что · inference

llama.cpp b11160 добавляет int8 coopmat1 matmul для AMD RDNA3/4 и поддержку IQ4_XS

Переведено с English → Русский

Проект llama.cpp выпустил версию b11160, внедряя реализацию int8 cooperative matrix (coopmat1) для Vulkan на архитектурах AMD RDNA3 и RDNA4. Это обновление включает выделенный шейдер, который напрямую опрашивает значения coopmat для повышения производительности.

Добавлена поддержка квантования IQ4_XS в шейдер целочисленного matmul mul_mmq_cm1.
Реализовано применение масштаба на месте, скалярные суммы и двойная буферизация для бэкенда Vulkan.
Поддерживаются квантования q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k и nvfp4.
Включены бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, ROCm, OpenVINO и SYCL.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Оригинал

Похожие статьи

media Hugging Face Forums · 29 д назад · 38 просмотров

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.

github llama.cpp · 51 д назад · 35 просмотров

llama.cpp b10255 расширяет oneDNN SDPA для не-FP16 KV-кэшей

Релиз llama.cpp b10255 расширяет путь oneDNN SDPA для поддержки не-FP16 ключ-значения (KV) кэшей, включая форматы квантования Q4_0–Q8_0 и FP32. Это обновление позволяет слитому систолическому ядру выполняться идентично нативному пути FP16 за счёт деквантования или преобразования тензоров K/V в плотный FP16 на устройстве перед обработкой.

media r/LocalLLaMA · 81 д назад · 29 просмотров

llama.cpp использует hipBLAS для плотного префилла на GPU gfx900

Запрос на слияние в репозиторий llama.cpp вносит изменение, использующее hipBLAS для операций плотного префилла на графических процессорах архитектуры AMD gfx900. Это изменение специально ориентировано на устаревшее оборудование Vega GPU, включая модели Radeon RX Vega 56/64 и серию Radeon Pro Vega.

github llama.cpp · 4 ч назад · 2 просмотра

llama.cpp b11158 включает поддержку KHR cooperative matrix для GPU Adreno

Проект llama.cpp выпустил сборку b11158, которая включает настройку поддержки KHR cooperative matrix специально для GPU Adreno через бэкенд Vulkan.

github llama.cpp · 18 ч назад · 3 просмотра

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.