github llama.cpp · 1 ч назад · inference

llama.cpp b10447 перерабатывает модель потоков yield_to_queue

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10447, включающую переработку модели потоков `yield_to_queue`. Это изменение предполагает запуск `common_speculative_process` в рабочем потоке и замену дизайна взаимодействия рабочего потока с главным.

Релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu с CPU, Vulkan, OpenVINO, SYCL и отключенным ROCm), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL и ROCm 7.14) и openEuler (с некоторыми отключенными сборками).

Это обновление доступно для загрузки на всех поддерживаемых платформах.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10444 добавляет поддержку моделей-ассистентов MTP и убирает eagle3

Проект llama.cpp выпустил версию b10444, добавляющую поддержку загрузки ассистентных моделей Multi-Token Prediction (MTP) через флаг `--models-dir`. Это обновление также включает строгую проверку префикса для моделей MTP в пресетах и убирает поддержку типа черновика eagle3.

github llama.cpp · 6 ч назад

llama.cpp b10442 добавляет Vulkan SHMEM_STRIDE_PAD для Intel Xe и исправляет чтение за пределами массива

Проект llama.cpp выпустил версию b10442, внедряя специфические оптимизации Vulkan для оборудования Intel Xe, одновременно решая проблемы безопасности памяти в routines умножения матриц.

github llama.cpp · 1 д назад · 3 просмотра

llama.cpp b10434 передаёт reasoning_effort в шаблоны

Проект llama.cpp выпустил сборку b10434, которая добавляет поддержку передачи параметра `reasoning_effort` в шаблоны Jinja. Это изменение гарантирует, что значения `reasoning_effort` из OpenAI Chat Completions сохраняются и становятся доступными во время генерации.

github llama.cpp · 2 д назад

llama.cpp b10418 добавляет поддержку pinned-памяти хоста для SYCL

Проект llama.cpp выпустил версию b10418, добавляющую поддержку pinned-памяти хоста для улучшения доступа к памяти от хоста к устройству в SYCL. Это обновление устраняет проблемы потокобезопасности во внутренней реализации.

github llama.cpp · 2 д назад · 4 просмотра

Бэкенд OpenVINO для llama.cpp добавляет поддержку Qwen3.5 и оптимизации памяти

Проект llama.cpp объединил значительные обновления в свой бэкенд OpenVINO, главным образом включив поддержку семейства моделей Qwen3.5 и внедрив несколько методов оптимизации памяти.