github llama.cpp · только что · inference

llama.cpp b11335 направляет sm70 в таблицу Turing MMVQ для производительности на Volta

Переведено с English → Русский

Проект llama.cpp выпустил версию b11335, включающую оптимизацию CUDA для GPU Volta. Обновление перенаправляет архитектуру sm_70 в существующую таблицу nwarps Turing MMVQ вместо перехода к общей конфигурации.

Volta (sm_70) теперь использует настройку TURING для декодирования K-quant batch-1, изменяя количество варпов с 4 до 2.
Тесты на Tesla V100 с Qwen3.8-27B показывают увеличение пропускной способности на +3.17% (+1.091 t/s) при идентичном битовому представлению перплексити.
Изменение основано на форке anyei/llamacpp-v100 и применяется к селекторам таблиц устройства и хоста.

Эта настройка ускоряет вывод на оборудовании Volta, не влияя на точность модели.

Важность 1/3 Доверие 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 7 д назад · 22 просмотра

llama.cpp исправляет сбои операторов на MTT S5000 и включает пути CUB

Проект llama.cpp выпустил исправление для сбоев операторов и проблем сборки MUSA (MTT S5000), ориентированное на архитектуру PH1. Это обновление устраняет критические ошибки, вызывавшие некорректные результаты или таймауты на этом оборудовании.

github llama.cpp · 7 д назад · 33 просмотра

llama.cpp b11160 добавляет int8 coopmat1 matmul для AMD RDNA3/4 и поддержку IQ4_XS

Проект llama.cpp выпустил версию b11160, внедряя реализацию int8 cooperative matrix (coopmat1) для Vulkan на архитектурах AMD RDNA3 и RDNA4. Это обновление включает выделенный шейдер, который напрямую опрашивает значения coopmat для повышения производительности.

media Hugging Face Forums · 37 д назад · 40 просмотров

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.

github llama.cpp · 59 д назад · 38 просмотров

llama.cpp b10255 расширяет oneDNN SDPA для не-FP16 KV-кэшей

Релиз llama.cpp b10255 расширяет путь oneDNN SDPA для поддержки не-FP16 ключ-значения (KV) кэшей, включая форматы квантования Q4_0–Q8_0 и FP32. Это обновление позволяет слитому систолическому ядру выполняться идентично нативному пути FP16 за счёт деквантования или преобразования тензоров K/V в плотный FP16 на устройстве перед обработкой.

media r/LocalLLaMA · 88 д назад · 33 просмотра

llama.cpp использует hipBLAS для плотного префилла на GPU gfx900

Запрос на слияние в репозиторий llama.cpp вносит изменение, использующее hipBLAS для операций плотного префилла на графических процессорах архитектуры AMD gfx900. Это изменение специально ориентировано на устаревшее оборудование Vega GPU, включая модели Radeon RX Vega 56/64 и серию Radeon Pro Vega.