github llama.cpp · 1 ч назад · inference

llama.cpp b10330 объединяет rms_norm, mul и rope на CUDA

Переведено с English → Русский

Проект llama.cpp выпустил версию b10330, внедряющую оптимизацию CUDA, которая объединяет операции rms_norm, умножения и RoPE в одно ядро. Это изменение сопровождается проверкой диапазонов памяти для объединённых операций и новыми тестовыми случаями для весов широковещательной передачи.

CUDA: объединить rms_norm + mul + rope (+ view + set_rows)
tests: добавить случай веса broadcast в rms_norm_mul_rope
CUDA: проверить диапазоны памяти перед объединением rms_norm и rope
CUDA: проверить диапазоны памяти при объединении set_rows для rope

Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и iOS на различных аппаратных бэкендах, включая CPU, Vulkan, ROCm, OpenVINO, SYCL и HIP.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 2 ч назад

llama.cpp b10328 добавляет начальную изоляцию инструментов сервера через Docker

Проект llama.cpp выпустил сборку b10328, которая вводит первоначальную поддержку изоляции инструментов внутри компонента сервера с использованием Docker. Это обновление включает документацию и адаптацию кода для разделения песочниц ввода-вывода инструментов и переименование соответствующих флагов конфигурации.

github llama.cpp · 12 ч назад · 1 просмотр

llama.cpp b10327 исправляет количество потоков/блоков в ядре копирования с квантованием

Проект llama.cpp выпустил версию b10327, которая включает исправление количества потоков и блоков при запуске ядра копирования с квантованием на CUDA. Это обновление устраняет проблему, выявленную в pull request #26731.

github llama.cpp · 1 д назад

llama.cpp b10313 добавляет LRU-планировщик в сервер

Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.

github llama.cpp · 1 д назад

Выпуск llama.cpp b10312 с исправлением сервера для загруженных моделей

Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.

github llama.cpp · 1 д назад

llama.cpp b10307 исправляет парсинг SYCL NVFP4

Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.