github llama.cpp · только что · inference

llama.cpp b11158 включает поддержку KHR cooperative matrix для GPU Adreno

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11158, которая включает настройку поддержки KHR cooperative matrix специально для GPU Adreno через бэкенд Vulkan.

Включена поддержка cooperative matrix (coopmat) для бэкенда Vulkan для улучшения производительности на совместимом оборудовании.
Исправлена функция mul_mat_s в реализации.
Удалены отладочные операторы из кодовой базы.

Это обновление обеспечивает оптимизированное ускорение GPU для устройств Snapdragon, работающих под управлением Linux и Android, а также систем Windows arm64 с графикой Adreno.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Inference efficiency

Оригинал

llama.cpp v0.5.0 добавляет поддержку HRM-Text, ускорение CUDA conv2d и привязку к нескольким адресам

Проект llama.cpp выпустил версию 0.5.0, сосредоточившись на производительности бэкендов, более широком покрытии моделей и более стабильной работе сервера. Это обновление вводит поддержку новых архитектур, таких как HRM-Text (DFM Mimir 1B) и MiMo-V2.6, а также значительно повышает вычислительную эффективность за счёт оптимизаций CUDA и Metal.

github llama.cpp · 17 ч назад · 11 просмотров

llama.cpp b11147 добавляет A8 Q6_K non-MoE dp4a OpenCL ядро

Проект llama.cpp выпустил версию b11147, которая представляет новое бинарное ядро для OpenCL. Это обновление специально добавляет поддержку конфигурации A8 Q6_K non-MoE dp4a.

github llama.cpp · 22 ч назад · 12 просмотров

llama.cpp b11132 добавляет поддержку бэкбона черновиков Gemma 4 DSpark

Проект llama.cpp выпустил версию b11132, добавив поддержку бэкбона черновиков Gemma 4 DSpark. Это обновление включает возможности конвертации GGUF и выполнения для полных механизмов внимания и SWA в черновиках Gemma 4, включая связанные выходные веса и метаданные бэкбона типа boolean.

github llama.cpp · 1 д назад · 13 просмотров

llama.cpp b11122 расширяет слияние MMVQ GLU и добавляет новые слияния SYCL

Проект llama.cpp выпустил версию b11122, которая включает значительные обновления бэкенда SYCL. Релиз расширяет слияние MMVQ GLU для поддержки смешанных типов квантования и вводит новые слияния для операций rms_norm+scale и ssm_conv+silu.

github llama.cpp · 2 д назад · 14 просмотров

llama.cpp b11111 добавляет ядра оптимизации flash attention для Intel Xe

Проект llama.cpp выпустил сборку b11111, которая внедряет основанные на Vulkan ядра оптимизации flash attention для путей split k в архитектурах Xe-LPG Plus, Xe2 и Xe3.