github llama.cpp · только что · inference

llama.cpp b10435 исправляет квадратичную стоимость в jinja gather_string_parts

Переведено с English → Русский

Проект llama.cpp выпустил версию b10435, которая устраняет проблему производительности в шаблонизаторе Jinja. Основное изменение исправляет ошибку с квадратичной временной сложностью в функции `gather_string_parts`.

Исправлена квадратичная стоимость в `gather_string_parts`
Обновлены комментарии и удалены устаревшие тесты
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) и openEuler

Это обновление обеспечивает более эффективную обработку строк при рендеринге шаблонов и предлагает обновленные бинарные файлы для широкого спектра аппаратных архитектур и операционных систем.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 4 ч назад

llama.cpp b10434 передаёт reasoning_effort в шаблоны

Проект llama.cpp выпустил сборку b10434, которая добавляет поддержку передачи параметра `reasoning_effort` в шаблоны Jinja. Это изменение гарантирует, что значения `reasoning_effort` из OpenAI Chat Completions сохраняются и становятся доступными во время генерации.

lab NVIDIA Research · 5 ч назад · 2 просмотра

Nvidia представляет FusionRelight для перенастройки освещения портретов в реальном времени посредством слияния гибридных предметных знаний

Исследователи из Nvidia представили FusionRelight — метод перенастройки освещения портретов, сочетающий физически правдоподобный перенос освещения с сохранением идентичности и компактным выводом в реальном времени. Подход использует Гибридное Слияние Предметных Знаний (HDKF), фреймворк обучения, который дистиллирует априорные знания о физике, отражательной способности и реализме из синтетических данных, данных One-Light-at-a-Time (OLAT) и естественных сцен в модель-студент.

github llama.cpp · 5 ч назад · 1 просмотр

llama.cpp b10431 добавляет откат рекуррентного состояния для моделей SSM

Проект llama.cpp выпустил версию b10431, которая внедряет поддержку отката рекуррентного состояния (RS) в операции ggml_ssm_scan. Это изменение позволяет выполнять откат RS для моделей Nemotron на бэкендах CPU и CUDA.

media r/LocalLLaMA · 8 ч назад · 2 просмотра

Qwen выпустила открытые веса для Qwen 3.8 27B

Qwen выпустила открытые веса для своей модели Qwen 3.8 27B. Чекпоинт доступен на Hugging Face.

github llama.cpp · 10 ч назад · 1 просмотр

llama.cpp b10429 позволяет обращаться к /metrics и /slots во время llama_decode()

Проект llama.cpp выпустил версию b10429, которая изменяет сервер, позволяя обращаться к конечным точкам /metrics и /slots во время выполнения llama_decode().