github llama.cpp · только что · inference

llama.cpp b10906 исправляет спекуляцию после изображения в сервере

Переведено с English → Русский

Проект llama.cpp выпустил версию b10906, которая включает исправление для компонента сервера, касающегося спекулятивного декодирования после ввода изображений. Изменение гарантирует, что фактическая позиция передается драфтеру вместо количества токенов, что влияет на всех драфтеров, а не только на DFlash.

Переименован параметр драфта `n_past` в `pos0`, чтобы точно отражать его роль как индикатора позиции, а не количества токенов.
Предоставлены предварительно собранные бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) и openEuler.

Это обновление исправляет несоответствие в названии параметра и обеспечивает правильную обработку позиции в логике спекулятивного декодирования сервера.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 16 ч назад · 2 просмотра

llama.cpp b10899 добавляет оптимизации Vulkan для Qwen и поддержку split_k

Проект llama.cpp выпустил версию b10899, внедряя специфические улучшения производительности в свой бэкенд Vulkan. Обновление сосредоточено на оптимизации матричных операций для семейства моделей Qwen и улучшении общей производительности при малых значениях M.

github llama.cpp · 19 ч назад · 1 просмотр

llama.cpp b10896 исправляет сбой декодирования DFlash для моделей с зрением

Проект llama.cpp выпустил сборку b10896, которая устраняет критическую проблему, при которой память драфтера не могла выделять новые токены при использовании DFlash с моделями с зрением. Этот сбой происходил из-за того, что изображения сообщали фиксированное смещение, препятствуя правильному выделению токенов.

github llama.cpp · 3 д назад · 2 просмотра

llama.cpp отключает ленивую загрузку тензоров по умолчанию на встроенных GPU

Проект llama.cpp отключил ленивую загрузку тензоров по умолчанию для интегрированных GPU (iGPU) в релизе b10867. Это изменение устраняет регрессию, возникшую в предыдущем режиме "AUTO".

github llama.cpp · 3 д назад · 4 просмотра

llama.cpp b10864 исправляет вытеснение контрольных точек для гибридных моделей

Проект llama.cpp выпустил сборку b10864, которая включает исправление логики вытеснения интервалов контрольных точек в `create_checkpoint()`. Ранее правило вытеснения сохраняло самую старую контрольную точку и удаляло более поздние в пределах `checkpoint_min_step`, из-за чего промпты короче этого порога теряли необходимую для возобновления работу контрольную точку. Это заставляло гибридные и рекуррентные модели без необходимости заново префилировать данные из предыдущей контрольной точки.

github llama.cpp · 4 д назад · 11 просмотров

llama.cpp b10844 добавляет гиперсвязанные объединённые операции Vulkan для DeepSeek-V4

Проект llama.cpp выпустил версию b10844, добавившую поддержку гиперсвязанных объединённых операций (DSV4_HC_COMB/PRE/POST) для DeepSeek-V4 в бэкенде Vulkan. Это обновление доводит Vulkan до уровня CUDA и Metal в отношении этих конкретных оптимизаций.