github llama.cpp · 1 ч назад · inference

llama.cpp b10638 добавляет Vulkan cross_entropy_loss и выпускает бинарные файлы

Переведено с English → Русский

Проект llama.cpp выпустил версию b10638, которая реализует поддержку Vulkan для функций `cross_entropy_loss` и `cross_entropy_loss_back`.

В релиз включены предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 и arm64), Android (arm64) и openEuler.
Ускорение на GPU доступно через Vulkan, CUDA (12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL и OpenVINO на поддерживаемых платформах.
Сборки macOS Apple Silicon с KleidiAI в этом релизе временно отключены.
Также предоставлен обновленный пакет пользовательского интерфейса вместе с основными бинарными файлами.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10639 исправляет предположение о размере warptile в Vulkan

Проект llama.cpp выпустил сборку b10639, которая включает исправление для бэкенда Vulkan, где ранее warptiles предполагали, что размеры warp меньше или равны 64. Это изменение ограничивает размер warp для обхода проблем с более крупными warp.

media Hugging Face Forums · 2 ч назад · 1 просмотр

Celestium Neon устраняет OOM в SDXL на видеокартах с 4 ГБ памяти, очищая VRAM

Celestium Neon — это новый инструмент, предназначенный для очистки VRAM и обеспечения работы Stable Diffusion XL (SDXL) на видеокартах с объёмом памяти всего 4 ГБ, например GTX 1650.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b10636 отключает сборку npm UI по умолчанию и очищает CI

Проект llama.cpp выпустил версию b10636, которая изменяет поведение по умолчанию при сборке веб-интерфейса. Сборка UI на основе npm теперь отключена по умолчанию (LLAMA_BUILD_UI=OFF), вместо этого UI встраивается из локальных источников или готовых загрузок.

github llama.cpp · 6 ч назад · 1 просмотр

llama.cpp b10635 разблокирует mmq для MoE на sm_60

Проект llama.cpp выпустил версию b10635, включающую специфические обновления поддержки CUDA. Основное изменение — разблокировка смешанной точности матричного умножения (mmq) для архитектур Mixture of Experts (MoE) на GPU с вычислительной способностью 6.0 (sm_60).

media Hugging Face Forums · 8 ч назад · 1 просмотр

EdgeFirst публикует Rust-пайплайн для валидации моделей YOLO на 20 периферийных платформах

EdgeFirst опубликовала EdgeFirst Model Zoo на Hugging Face, включающую модели YOLOv5, YOLOv8, YOLO11 и YOLO26, прошедшие валидацию на 20 различных периферийных платформах. Валидация опирается на единый Rust-пайплайн, который выполняет прямое копирование DMA для предобработки, декодирование модели и постобработку непосредственно на целевом оборудовании.