github llama.cpp · 2 ч назад · inference

llama.cpp b10598 использует алгоритм масштабирования pillow-accurate и исправляет resize_algo для всех моделей

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10598, которая обновляет модуль mtmd для использования алгоритма масштабирования pillow-accurate и исправляет resize_algo для всех моделей. Этот релиз также включает оптимизации скорости.

Модуль mtmd теперь использует алгоритм масштабирования pillow-accurate.
resize_algo был исправлен во всех моделях.
Были применены общие оптимизации скорости.

Это обновление обеспечивает более точное масштабирование изображений в модуле mtmd и улучшает производительность для пользователей, запускающих llama.cpp на macOS, iOS, Linux, Windows, Android и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency Local inference

Оригинал

llama.cpp b10593 исправляет откат DeepseekV4 и загрузку модели

Проект llama.cpp выпустил сборку b10593, которая устраняет критические проблемы с архитектурой модели DeepseekV4. Обновление конкретно решает проблему сбоя отката, возникавшего при обработке множественных последовательностей.

github llama.cpp · 1 д назад · 2 просмотра

llama.cpp b10584 исправляет расчёт размера контекста для предотвращения ошибок сервера 500

Проект llama.cpp выпустил сборку b10584, устраняющую критическую проблему, при которой размер контекста черновика не совпадал с целевым контекстом, что приводило к сбоям запросов сервера с ошибками 500.

github llama.cpp · 2 д назад · 5 просмотров

llama.cpp b10568 использует ggml_rope_set_offset() для DeepSeek 2

Проект llama.cpp выпустил сборку b10568, которая обновляет обработку моделей для использования функции `ggml_rope_set_offset()`. Это изменение частично применяется для поддержки DeepSeek 2.

media Hugging Face Forums · 2 д назад · 4 просмотра

Движок Celestium добавляет оптимизации VRAM и резервный режим для SDXL

Движок Celestium внедрил несколько улучшений для повышения производительности SDXL на оборудовании с малым объёмом VRAM. Эти изменения сосредоточены на управлении памятью, стабильности и механизмах резервирования, чтобы обеспечить надёжную генерацию даже на ограниченных системах.

github llama.cpp · 3 д назад · 9 просмотров

llama.cpp b10541 добавляет аргумент --mmproj-device для мультимодальных проектов

Проект llama.cpp выпустил сборку b10541, вводя аргумент командной строки `--mmproj-device`, позволяющий пользователям указывать бэкенд устройства для загрузки файлов мультимодальной проекции.