github llama.cpp · 1 ч назад · inference

llama.cpp b10326 учитывает проход вокодера в таймингах

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10326, которая изменяет способ расчета измерений времени за счет включения прохода вокодера.

Обновление гарантирует, что `get_output` выполняет работу с волновой формой, отложенную конвейером, измеряя ее от одного последнего окна до полного прохода в зависимости от модели.
Это изменение сохраняет точность сообщаемого общего времени и соотношения аудио к обработке.
Бинарные файлы доступны для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.

Модификация повышает достоверность метрик производительности, обеспечивая правильный учет накладных расходов обработки аудио в сообщаемых таймингах.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 1 ч назад Live

llama.cpp b10321 исправляет NORM/RMS_NORM для частичных длин строк simdgroup

Проект llama.cpp выпустил версию b10321, которая включает критическое исправление операций GGML_OP_NORM и GGML_OP_RMS_NORM в Metal. Обновление устраняет проблему, при которой размер threadgroups, оставляющий частичную SIMD-группу, приводил к некорректным вычислениям среднего значения и дисперсии из-за потери частичных сумм.

github llama.cpp · 2 ч назад

llama.cpp b10322 объединяет загрузки окон SSM_CONV для ускорения ~1.85x

Проект llama.cpp выпустил сборку b10322, которая включает оптимизацию производительности, объединяющую загрузки окон SSM_CONV в бэкенде SYCL.

github llama.cpp · 4 ч назад

llama.cpp b10313 добавляет LRU-планировщик в сервер

Проект llama.cpp выпустил версию b10313, которая внедряет планировщик LRU (Least Recently Used) для его серверного компонента. Это обновление включает обработку слияния запросов и исправления для случаев потоковой передачи.

github llama.cpp · 5 ч назад

llama.cpp b10311 исправляет дублирование текстового потока Qwen3-TTS

Проект llama.cpp выпустил сборку b10311, которая включает исправление для конвейера Qwen3-TTS. Обновление устраняет проблему, при которой модель дважды читала входную фразу во время генерации.

github llama.cpp · 5 ч назад

Выпуск llama.cpp b10312 с исправлением сервера для загруженных моделей

Проект llama.cpp выпустил версию b10312, которая включает конкретное обновление компонента сервера. Ключевое изменение устраняет проблему, при которой загруженные модели вытеснялись из маршрутизатора.