github llama.cpp · 1 ч назад · inference

llama.cpp b10430 позволяет использовать виртуальные устройства igpu

Переведено с English → Русский

Проект llama.cpp выпустил версию b10430, которая добавляет поддержку виртуальных интегрированных графических процессоров (igpu). Это обновление также включает улучшенные комментарии в кодовой базе.

Релиз предоставляет бинарные файлы и фреймворки для macOS (Apple Silicon и Intel), iOS, Linux (Ubuntu с CPU, Vulkan, OpenVINO, SYCL и отключенным ROCm), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 7.14) и архитектур openEuler.

Это обновление позволяет пользователям запускать llama.cpp на системах с виртуальными конфигурациями igpu в широком диапазоне операционных систем и аппаратных ускорителей.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

llama.cpp b10429 позволяет обращаться к /metrics и /slots во время llama_decode()

Проект llama.cpp выпустил версию b10429, которая изменяет сервер, позволяя обращаться к конечным точкам /metrics и /slots во время выполнения llama_decode().

github llama.cpp · 6 ч назад

llama.cpp b10427 объединяет операции FFN SYCL для прироста пропускной способности до 12,4%

Проект llama.cpp выпустил версию b10427, включающую оптимизацию производительности для видеокарт Intel Arc с помощью SYCL. Обновление реализует объединение операций gate, up и GLU в плотном слое прямой связи (FFN) q4_K.

github llama.cpp · 7 ч назад · 1 просмотр

llama.cpp b10425 объединяет обратную запись состояния gated-delta-net для ускорения на +1,2%

Проект llama.cpp выпустил версию b10425, которая включает порт оптимизации SYCL для объединения копии обратной записи состояния gated-delta-net.

arxiv arXiv cs.CL · 10 ч назад

Сокращённое умножение матриц: адаптивное к входу сокращение произведения матриц для вывода больших языковых моделей

Исследователи предлагают Reduced Matrix Multiplication (RMM), метод вывода без обучения, адаптируемый к входу, который уменьшает произведения матриц в трансформерах за счёт выбора информативных срезов вдоль размерностей свёртки без изменения весов модели. При простом управлении коэффициентом сохранения RMM обеспечивает плавный и предсказуемый компромисс между точностью и эффективностью для языковых моделей от 1B до 70B параметров.

github llama.cpp · 15 ч назад

llama.cpp b10418 добавляет поддержку pinned-памяти хоста для SYCL

Проект llama.cpp выпустил версию b10418, добавляющую поддержку pinned-памяти хоста для улучшения доступа к памяти от хоста к устройству в SYCL. Это обновление устраняет проблемы потокобезопасности во внутренней реализации.