github llama.cpp · 8 ч назад · inference

Выпуск llama.cpp b11280 снижает синхронизацию allreduce тензоров с помощью буферов на хосте с фиксированной страницей

Переведено с English → Русский

Проект llama.cpp выпустил версию b11280, которая включает изменение для снижения синхронизации allreduce тензоров за счет использования буферов на хосте с фиксированной страницей.

Это обновление доступно на нескольких платформах и бэкендах, включая macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL и Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 10.0), Android и iOS.

Выпуск также предоставляет бинарные файлы для llama.cpp UI.

Важность 1/3 Доверие 1/3 llama.cpp Hardware & chips Inference efficiency

Оригинал

ThermaCompute AI выпустила CrashLens для локального анализа журналов сбоев GPU

ThermaCompute AI выпустила CrashLens, бесплатный локальный инструмент, предназначенный для помощи инженерам в расследовании сбоев GPU путем анализа файлов журналов. Инструмент выявляет известные шаблоны отказов в журналах и предлагает конкретные следующие шаги для расследования.

media Hugging Face Forums · 19 ч назад · 1 просмотр

AI Hardware Fit связывает требования моделей к VRAM с выбором GPU

Создатель проекта AI Hardware Fit выпустил бесплатный инструмент с открытым исходным кодом для браузера, предназначенный для помощи пользователям в определении того, поместится ли локальная модель на их GPU, а также в сравнении подходящих вариантов оборудования. Инструмент решает сложность сбора информации о файлах моделей, квантовании, длине контекста и поддержке во время выполнения из различных источников.

github llama.cpp · 4 д назад · 8 просмотров

llama.cpp b11203 добавляет поддержку ввода F16 для CUDA FWHT

Проект llama.cpp выпустил версию b11203, которая включает изменение в CUDA Fast Walsh-Hadamard Transform (FWHT) для приема входных данных F16. Ранее CUDA FWHT принимал только входные данные F32; это обновление делает исходный тип параметром шаблона, так что ядро читает источник F16 напрямую, без необходимости преобразованной копии.

github llama.cpp · 5 д назад · 21 просмотр

llama.cpp исправляет сбои операторов на MTT S5000 и включает пути CUB

Проект llama.cpp выпустил исправление для сбоев операторов и проблем сборки MUSA (MTT S5000), ориентированное на архитектуру PH1. Это обновление устраняет критические ошибки, вызывавшие некорректные результаты или таймауты на этом оборудовании.

github llama.cpp · 6 д назад · 22 просмотра

llama.cpp b11160 добавляет int8 coopmat1 matmul для AMD RDNA3/4 и поддержку IQ4_XS

Проект llama.cpp выпустил версию b11160, внедряя реализацию int8 cooperative matrix (coopmat1) для Vulkan на архитектурах AMD RDNA3 и RDNA4. Это обновление включает выделенный шейдер, который напрямую опрашивает значения coopmat для повышения производительности.