github llama.cpp · 1 ч назад · inference

mtmd добавляет поддержку WebP через ffmpeg

Переведено с English → Русский

Компонент mtmd в llama.cpp теперь поддерживает формат изображений WebP благодаря интеграции с ffmpeg.

Позволяет обрабатывать изображения WebP в рамках фреймворка mtmd.
Опирается на ffmpeg для функций декодирования.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

llama.cpp b10568 использует ggml_rope_set_offset() для DeepSeek 2

Проект llama.cpp выпустил сборку b10568, которая обновляет обработку моделей для использования функции `ggml_rope_set_offset()`. Это изменение частично применяется для поддержки DeepSeek 2.

github llama.cpp · 11 ч назад · 4 просмотра

Выпуск llama.cpp v0.2.0 с ggml 0.21.0 и поддержкой Kleidiai SME2

Проект llama.cpp выпустил версию 0.2.0, которая включает синхронизацию с библиотекой ggml, обновлённую до версии 0.21.0. Это обновление вносит несколько улучшений бэкенда и новых функций для различных аппаратных платформ.

media Hugging Face Forums · 17 ч назад · 1 просмотр

Движок Celestium добавляет оптимизации VRAM и резервный режим для SDXL

Движок Celestium внедрил несколько улучшений для повышения производительности SDXL на оборудовании с малым объёмом VRAM. Эти изменения сосредоточены на управлении памятью, стабильности и механизмах резервирования, чтобы обеспечить надёжную генерацию даже на ограниченных системах.

github llama.cpp · 20 ч назад · 2 просмотра

llama.cpp b10549 включает разделение тензоров для LFM2/LFM2MOE

Проект llama.cpp выпустил версию b10549, которая в основном добавляет поддержку разделения тензоров в моделях LFM2 и LFM2MOE.

github vLLM · 23 ч назад · 4 просмотра

vLLM v0.28.0rc2 добавляет DFlash2 Spec Decode с локальной свёрткой и селектором кандидатов

Проект vLLM выпустил версию 0.28.0rc2, которая включает функцию спекулятивного декодирования DFlash2.