github llama.cpp · только что · inference

llama.cpp b10643 добавляет поддержку нескольких NPU и полностью асинхронный бэкенд Hexagon

Переведено с English → Русский

Проект llama.cpp выпустил версию b10643, добавившую поддержку устройств с несколькими NPU (IQ9, IQ10) и полностью асинхронный бэкенд для архитектуры Hexagon.

Бэкенд Hexagon теперь по умолчанию использует нехостовые буферы и реализует полную асинхронность.
Добавлена поддержка платформы Snapdragon Android 34.
Квантование Q8_0 получило поддержку инлайн-деquantизаторов, конвейеров DMA и операций с строками.
Операции ALLREDUCE оптимизированы с помощью слитых ядер и улучшенной эффективности DMA.
Механизмы синхронизации токенов и заборов (fence) улучшены для синхронизации устройств NPU между асинхронными разделениями.

Эти изменения обеспечивают эффективный вывод на аппаратном обеспечении Snapdragon с несколькими NPU, позволяя параллельное выполнение устройств и более быстрые копии тензоров.

Важность 1/3 Доверие 1/3 llama.cpp Hardware & chips Inference efficiency

Оригинал

Похожие статьи

media Hugging Face Forums · 16 ч назад · 2 просмотра

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10628 добавляет поддержку транспорта Apple RDMA RPC

Проект llama.cpp выпустил версию b10628, добавляющую поддержку Apple RDMA в качестве механизма транспорта удалённого вызова процедур (RPC).

lab OpenAI News · 2 д назад · 8 просмотров

OpenAI сообщает: чип Jalapeño обеспечивает снижение задержки до 3,6 раза и повышение эффективности в 1,9 раза

OpenAI опубликовала предварительные результаты производительности Jalapeño, своего первого собственного чипа для вывода моделей, демонстрирующие значительное улучшение скорости и энергоэффективности по сравнению с существующими коммерческими системами. Компания заявляет, что новая архитектура позволяет одновременно достигать более высокой пропускной способности и меньшей задержки, решая типичный компромисс в современном аппаратном обеспечении.

github llama.cpp · 6 д назад · 14 просмотров

llama.cpp b10534 добавляет точки переключения CUDA для каждого оборудования для ускорения декодирования

Проект llama.cpp выпустил сборку b10534, которая вводит аппаратно-специфичные точки переключения для настройки перехода между путями векторных и тензорных ядер во время квантованного декодирования на CUDA.

lab Hugging Face Blog · 9 д назад · 6 просмотров

Аллокатор GPU с учётом ограничений улучшает утилизацию и приоритетно-взвешенный вывод по сравнению с FIFO

Аллокатор GPU, учитывающий ограничения, был протестирован на производительность против планировщика FIFO в семи сценариях, показав увеличение утилизации GPU до 33 процентных пунктов и рост приоритетно-взвешенного вывода до 105% на идентичном оборудовании. Система рассматривает спрос на вывод в реальном времени как колеблющуюся кривую, а не как статическое резервирование, позволяя пакетным задачам заполнять мощность во время спадов, соблюдая строгие ограничения, такие как непрерывные блоки GPU и невозможность прерывания.