github llama.cpp · 1 ч назад · inference

llama.cpp b11382 добавляет поддержку f16 для WebGPU fill/set_rows

Переведено с English → Русский

Проект llama.cpp выпустил сборку b11382, которая включает важное обновление бэкенда WebGPU. Этот релиз добавляет поддержку 16-битной плавающей точки (f16) специально для операций `fill` и `set_rows` в реализации WebGPU.

Изменения в исходном коде отслеживаются в pull request #29897 в репозитории ggml-org/llama.cpp.
Бинарные файлы предоставляются для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android и openEuler.
Релиз также включает стандартный бинарный файл UI llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp Hardware & chips Inference efficiency

Оригинал

llama.cpp b11370 объединяет общие экспертные модули в MMVQ

Проект llama.cpp выпустил сборку b11370, которая включает оптимизацию CUDA для объединения общих экспертных модулей в архитектуру Смешивания MoE с Векторной Квантованием (MMVQ). Это изменение является частью pull request #29184 и также решает вопросы проверки буферов на null и обработки аргументов для stride_col_dst.

github llama.cpp · 2 д назад · 6 просмотров

llama.cpp b11335 направляет sm70 в таблицу Turing MMVQ для производительности на Volta

Проект llama.cpp выпустил версию b11335, включающую оптимизацию CUDA для GPU Volta. Обновление перенаправляет архитектуру sm_70 в существующую таблицу nwarps Turing MMVQ вместо перехода к общей конфигурации.

media Hugging Face Forums · 3 д назад · 6 просмотров

ThermaCompute AI выпустила CrashLens для локального анализа журналов сбоев GPU

ThermaCompute AI выпустила CrashLens, бесплатный локальный инструмент, предназначенный для помощи инженерам в расследовании сбоев GPU путем анализа файлов журналов. Инструмент выявляет известные шаблоны отказов в журналах и предлагает конкретные следующие шаги для расследования.

github llama.cpp · 4 д назад · 8 просмотров

Выпуск llama.cpp b11280 снижает синхронизацию allreduce тензоров с помощью буферов на хосте с фиксированной страницей

Проект llama.cpp выпустил версию b11280, которая включает изменение для снижения синхронизации allreduce тензоров за счет использования буферов на хосте с фиксированной страницей.

media Hugging Face Forums · 4 д назад · 5 просмотров

AI Hardware Fit связывает требования моделей к VRAM с выбором GPU

Создатель проекта AI Hardware Fit выпустил бесплатный инструмент с открытым исходным кодом для браузера, предназначенный для помощи пользователям в определении того, поместится ли локальная модель на их GPU, а также в сравнении подходящих вариантов оборудования. Инструмент решает сложность сбора информации о файлах моделей, квантовании, длине контекста и поддержке во время выполнения из различных источников.