github llama.cpp · только что · inference

llama.cpp b10930 позволяет скачивать модели при достижении лимита

Переведено с English → Русский

Проект llama.cpp выпустил версию b10930, которая включает исправление для серверного компонента, позволяющее скачивать модели даже тогда, когда пользователь достиг своего лимита.

Исправляет проблему #26809, разрешая загрузки при достижении лимита (PR #28530).
Предоставляет бинарные файлы для macOS Apple Silicon и Intel, iOS, Ubuntu x64/arm64/s390x, Android arm64, Windows x64/arm64 и openEuler.
Поддерживает различные аппаратные бэкенды, включая CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL FP32/FP16, CUDA 12/13 и OpenCL Adreno.

Это обновление обеспечивает продолжение работы для пользователей, достигших квоты хранилища, одновременно предоставляя широкую поддержку платформ.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

Похожие статьи

github llama.cpp · 3 ч назад · 1 просмотр

Выпуск llama.cpp b10926 корректно обрабатывает неподдерживаемые квантования tq1_0

Проект llama.cpp выпустил версию b10926, которая включает исправление для корректной обработки неподдерживаемых квантований tq1_0 путем безопасного завершения работы. Это обновление решает проблему #28681, улучшая стабильность при работе с данным форматом квантования.

github llama.cpp · 3 ч назад · 1 просмотр

llama.cpp b10921 выравнивает привязки тензоров WebGPU по размеру блока

Проект llama.cpp выпустил сборку b10921, которая включает исправление для WebGPU путем выравнивания привязок тензоров по размеру блока типа. Это изменение гарантирует, что представления с блочным квантованием получают корректное смещение элемента в шейдере, проходя назад по смещению привязки до тех пор, пока расстояние до тензора не станет целым числом блоков.

github llama.cpp · 1 д назад · 1 просмотр

llama.cpp b10906 исправляет спекуляцию после изображения в сервере

Проект llama.cpp выпустил версию b10906, которая включает исправление для компонента сервера, касающегося спекулятивного декодирования после ввода изображений. Изменение гарантирует, что фактическая позиция передается драфтеру вместо количества токенов, что влияет на всех драфтеров, а не только на DFlash.

github llama.cpp · 2 д назад · 3 просмотра

llama.cpp b10899 добавляет оптимизации Vulkan для Qwen и поддержку split_k

Проект llama.cpp выпустил версию b10899, внедряя специфические улучшения производительности в свой бэкенд Vulkan. Обновление сосредоточено на оптимизации матричных операций для семейства моделей Qwen и улучшении общей производительности при малых значениях M.

github llama.cpp · 2 д назад · 4 просмотра

llama.cpp b10896 исправляет сбой декодирования DFlash для моделей с зрением

Проект llama.cpp выпустил сборку b10896, которая устраняет критическую проблему, при которой память драфтера не могла выделять новые токены при использовании DFlash с моделями с зрением. Этот сбой происходил из-за того, что изображения сообщали фиксированное смещение, препятствуя правильному выделению токенов.