github llama.cpp · 1 ч назад · inference

llama.cpp b10327 исправляет количество потоков/блоков в ядре копирования с квантованием

Переведено с English → Русский

Проект llama.cpp выпустил версию b10327, которая включает исправление количества потоков и блоков при запуске ядра копирования с квантованием на CUDA. Это обновление устраняет проблему, выявленную в pull request #26731.

В релиз добавлены тесты для случаев копирования с неравномерным количеством блоков, чтобы обеспечить корректность.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
Также предоставляется iOS XCFramework и автономная сборка UI.

Этот релиз обеспечивает стабильное выполнение операций копирования с квантованием на оборудовании CUDA в широком диапазоне поддерживаемых платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 13 ч назад

llama.cpp b10313 добавляет LRU-планировщик в сервер

Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.

github llama.cpp · 15 ч назад

Выпуск llama.cpp b10312 с исправлением сервера для загруженных моделей

Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.

github llama.cpp · 17 ч назад

llama.cpp b10307 исправляет парсинг SYCL NVFP4

Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.

github llama.cpp · 1 д назад

llama.cpp b10298 добавляет функцию сохранения/загрузки чанков mtmd

Проект llama.cpp выпустил сборку b10298, которая вводит новую функцию сохранения и загрузки чанков для модуля mtmd. Это обновление также включает очистку кода и дополнительные тесты.

github llama.cpp · 3 д назад · 1 просмотр

llama.cpp b10282 добавляет счетчики spec-decode в конечную точку /metrics

Проект llama.cpp выпустил версию b10282, которая внедряет новые возможности мониторинга для спекулятивного декодирования. Сервер теперь включает счетчики spec-decode в своей конечной точке /metrics, позволяя пользователям отслеживать метрики производительности, связанные с этой функцией.