audio.cpp добавляет поддержку потоковой передачи и Nemotron 3.5 ASR

Проект audio.cpp обновил свой нативный фреймворк C++/GGML, включив начальную поддержку потоковой передачи для распознавания и синтеза речи, а также четыре новые модели ASR/STT: Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR и Hviske ASR.

• Nemotron ASR транскрибировал аудиофайл длительностью 327,6 с за 2,17 с в офлайн-режиме на RTX 5090 с WER 3.18%, тогда как его потоковый путь SSE достиг того же WER при TTFT 307 мс и значительно более низком пиковом потреблении VRAM.
• VibeVoice ASR зафиксировал наименьший WER (0,66%), но потребовал существенно больше VRAM (25833M) по сравнению с Nemotron.
• Потоковые возможности были реализованы для Nemotron ASR (через SSE) и VoxCPM2 TTS, при этом потоковая передача Higgs Audio STT помечена как экспериментальная.
• Обновление направлено на создание единого локального аудиофреймворка, который устраняет необходимость в отдельных средах Python для каждой модели.

Автор подчеркивает сильное соотношение скорости и VRAM у Nemotron ASR, что делает его особенно подходящим для использования в локальных сервисах ASR, и приглашает к сотрудничеству для улучшения потоковых API и планирования чанков.