github llama.cpp · 1 ч назад · inference

llama.cpp b10311 исправляет дублирование текстового потока Qwen3-TTS

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10311, которая включает исправление для конвейера Qwen3-TTS. Обновление устраняет проблему, при которой модель дважды читала входную фразу во время генерации.

Исправлена ошибка в нестриминговом оверлее префиксного заполнения (prefill), из-за которой текстовый поток подавался повторно во время генерации Qwen3-TTS.
Исправлено скрытое состояние конечного текста для сворачивания в один ряд tts_pad, что соответствует макету префиксного заполнения.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) и openEuler.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · только что Live

llama.cpp b10313 добавляет LRU-планировщик в сервер

Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.

github llama.cpp · 1 ч назад Live

Выпуск llama.cpp b10312 с исправлением сервера для загруженных моделей

Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.

github llama.cpp · 4 ч назад

llama.cpp b10307 исправляет парсинг SYCL NVFP4

Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.

github llama.cpp · 5 ч назад

llama.cpp b10305 добавляет поддержку SYCL для операций DSv4

Проект llama.cpp выпустил сборку b10305, которая вводит поддержку специфических операций DSv4 в бэкенде SYCL. Это обновление включает реализацию операторов LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST и DSV4_HC_PRE.

github llama.cpp · 5 ч назад

llama.cpp b10306 добавляет плоский путь GLU для SYCL и объединяет ядра

Релиз llama.cpp b10306 вносит оптимизации производительности для бэкенда SYCL, конкретно направленные на операции Gated Linear Unit (GLU). Обновление добавляет непрерывный быстрый путь для объединённых операций GLU и объединяет ранее различные ядра для использования общего загрузчика.