github llama.cpp · только что · inference

llama.cpp b10425 объединяет обратную запись состояния gated-delta-net для ускорения на +1,2%

Переведено с English → Русский

Проект llama.cpp выпустил версию b10425, которая включает порт оптимизации SYCL для объединения копии обратной записи состояния gated-delta-net.

Изменение улучшает производительность примерно на 1,2% на оборудовании Arc Pro B70 при запуске Qwen 3.6 27B с чередующимися проходами A/B.
Задержка предварительного заполнения (pp2048) остаётся неизменной, в то время как скорость генерации токенов немного увеличивается.
Бинарные файлы доступны для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, CUDA, Vulkan, ROCm, OpenVINO и SYCL.

Этот релиз предоставляет обновлённые сборки для различных платформ и ускорителей для поддержки последних оптимизаций моделей.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

arxiv arXiv cs.CL · 4 ч назад

Сокращённое умножение матриц: адаптивное к входу сокращение произведения матриц для вывода больших языковых моделей

Исследователи предлагают Reduced Matrix Multiplication (RMM), метод вывода без обучения, адаптируемый к входу, который уменьшает произведения матриц в трансформерах за счёт выбора информативных срезов вдоль размерностей свёртки без изменения весов модели. При простом управлении коэффициентом сохранения RMM обеспечивает плавный и предсказуемый компромисс между точностью и эффективностью для языковых моделей от 1B до 70B параметров.

github llama.cpp · 9 ч назад

llama.cpp b10418 добавляет поддержку pinned-памяти хоста для SYCL

Проект llama.cpp выпустил версию b10418, добавляющую поддержку pinned-памяти хоста для улучшения доступа к памяти от хоста к устройству в SYCL. Это обновление устраняет проблемы потокобезопасности во внутренней реализации.

github llama.cpp · 9 ч назад

Бэкенд OpenVINO для llama.cpp добавляет поддержку Qwen3.5 и оптимизации памяти

Проект llama.cpp объединил значительные обновления в свой бэкенд OpenVINO, главным образом включив поддержку семейства моделей Qwen3.5 и внедрив несколько методов оптимизации памяти.

github llama.cpp · 10 ч назад

llama.cpp b10416 исправляет устаревший кэш UI в llama.app

Проект llama.cpp выпустил сборку b10416, устраняющую проблему с кэшированием на сайте llama.app, где файл index.html был зафиксирован для старых сборок из-за неизменяемых заголовков.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10413 добавляет автоматическое определение типа спецификации черновика из метаданных GGUF

Проект llama.cpp выпустил версию b10413, которая вводит автоматическое обнаружение типа спецификации спекулятивного декодирования непосредственно из метаданных модели GGUF черновика.