github llama.cpp · 2 ч назад · inference

llama.cpp b10628 добавляет поддержку транспорта Apple RDMA RPC

Переведено с English → Русский

Проект llama.cpp выпустил версию b10628, добавляющую поддержку Apple RDMA в качестве механизма транспорта удалённого вызова процедур (RPC).

Добавлена поддержка Apple RDMA как варианта транспорта RPC.
Удалена микрoоптимизация set_tensor и привязка сокетов RPC согласно CR.
Удалена функция прозрачного повторного подключения.
Настроено CI для запуска сборок Apple при изменениях в RPC.
Предоставлены бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler для CPU, GPU и специализированных аппаратных бэкендов.

Важность 1/3 Доверие 1/3 llama.cpp Hardware & chips Inference efficiency

Оригинал

OpenAI сообщает: чип Jalapeño обеспечивает снижение задержки до 3,6 раза и повышение эффективности в 1,9 раза

OpenAI опубликовала предварительные результаты производительности Jalapeño, своего первого собственного чипа для вывода моделей, демонстрирующие значительное улучшение скорости и энергоэффективности по сравнению с существующими коммерческими системами. Компания заявляет, что новая архитектура позволяет одновременно достигать более высокой пропускной способности и меньшей задержки, решая типичный компромисс в современном аппаратном обеспечении.

github llama.cpp · 5 д назад · 13 просмотров

llama.cpp b10534 добавляет точки переключения CUDA для каждого оборудования для ускорения декодирования

Проект llama.cpp выпустил сборку b10534, которая вводит аппаратно-специфичные точки переключения для настройки перехода между путями векторных и тензорных ядер во время квантованного декодирования на CUDA.

lab Hugging Face Blog · 8 д назад · 5 просмотров

Аллокатор GPU с учётом ограничений улучшает утилизацию и приоритетно-взвешенный вывод по сравнению с FIFO

Аллокатор GPU, учитывающий ограничения, был протестирован на производительность против планировщика FIFO в семи сценариях, показав увеличение утилизации GPU до 33 процентных пунктов и рост приоритетно-взвешенного вывода до 105% на идентичном оборудовании. Система рассматривает спрос на вывод в реальном времени как колеблющуюся кривую, а не как статическое резервирование, позволяя пакетным задачам заполнять мощность во время спадов, соблюдая строгие ограничения, такие как непрерывные блоки GPU и невозможность прерывания.

media r/LocalLLaMA · 9 д назад · 19 просмотров

NVIDIA запускает Qwen 3.8 2.4T на GB300 NVL72 со скоростью 4K токенов/с на GPU

NVIDIA продемонстрировала развертывание модели Qwen 3.8 2.4T с параметрами и настраиваемыми возможностями рассуждения на аппаратной платформе GB300 NVL72.

github llama.cpp · 18 д назад · 15 просмотров

llama.cpp b10306 добавляет плоский путь GLU для SYCL и объединяет ядра

Релиз llama.cpp b10306 вносит оптимизации производительности для бэкенда SYCL, конкретно направленные на операции Gated Linear Unit (GLU). Обновление добавляет непрерывный быстрый путь для объединённых операций GLU и объединяет ранее различные ядра для использования общего загрузчика.