github llama.cpp · 1 ч назад · inference

llama.cpp b10429 позволяет обращаться к /metrics и /slots во время llama_decode()

Переведено с English → Русский

Проект llama.cpp выпустил версию b10429, которая изменяет сервер, позволяя обращаться к конечным точкам /metrics и /slots во время выполнения llama_decode().

Изменение обновляет server_queue::worker для вызова llama_decode внутри yield_to_queue.
Оно также обрабатывает process_mtmd_chunk во время этой операции.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление улучшает отзывчивость сервера, предотвращая блокировку конечных точек во время вывода модели.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10430 позволяет использовать виртуальные устройства igpu

Проект llama.cpp выпустил версию b10430, которая добавляет поддержку виртуальных интегрированных графических процессоров (igpu). Это обновление также включает улучшенные комментарии в кодовой базе.

github llama.cpp · 6 ч назад

llama.cpp b10427 объединяет операции FFN SYCL для прироста пропускной способности до 12,4%

Проект llama.cpp выпустил версию b10427, включающую оптимизацию производительности для видеокарт Intel Arc с помощью SYCL. Обновление реализует объединение операций gate, up и GLU в плотном слое прямой связи (FFN) q4_K.

github llama.cpp · 8 ч назад · 1 просмотр

llama.cpp b10425 объединяет обратную запись состояния gated-delta-net для ускорения на +1,2%

Проект llama.cpp выпустил версию b10425, которая включает порт оптимизации SYCL для объединения копии обратной записи состояния gated-delta-net.

arxiv arXiv cs.CL · 11 ч назад

Сокращённое умножение матриц: адаптивное к входу сокращение произведения матриц для вывода больших языковых моделей

Исследователи предлагают Reduced Matrix Multiplication (RMM), метод вывода без обучения, адаптируемый к входу, который уменьшает произведения матриц в трансформерах за счёт выбора информативных срезов вдоль размерностей свёртки без изменения весов модели. При простом управлении коэффициентом сохранения RMM обеспечивает плавный и предсказуемый компромисс между точностью и эффективностью для языковых моделей от 1B до 70B параметров.

github llama.cpp · 16 ч назад

llama.cpp b10418 добавляет поддержку pinned-памяти хоста для SYCL

Проект llama.cpp выпустил версию b10418, добавляющую поддержку pinned-памяти хоста для улучшения доступа к памяти от хоста к устройству в SYCL. Это обновление устраняет проблемы потокобезопасности во внутренней реализации.