قام مشروع audio.cpp بتحديث إطار العمل الخاص به C++/GGML الأصلي ليشمل الدعم الأولي للبث المباشر للتعرف على الكلام وتوليفه، إلى جانب أربعة نماذج جديدة لـ ASR/STT: Nemotron 3.5 ASR و Higgs Audio STT و VibeVoice ASR و Hviske ASR.
- قام Nemotron ASR بنسخ ملف صوتي مدته 327.6 ثانية في 2.17 ثانية بشكل غير متصل على RTX 5090 بنسبة WER تبلغ 3.18%، بينما حقق مسار البث المباشر عبر SSE نفس نسبة WER مع TTFT يبلغ 307ms و VRAM ذروة أقل بكثير.
- سجل VibeVoice ASR أدنى نسبة WER (0.66%) لكنه احتاج إلى قدر أكبر بكثير من VRAM (25833M) مقارنة بـ Nemotron.
- تم تنفيذ قدرات البث المباشر لـ Nemotron ASR (عبر SSE) و VoxCPM2 TTS، بينما تم وضع علامة على بث Higgs Audio STT كونه تجريبياً.
- يهدف التحديث إلى توفير إطار عمل صوتي محلي موحد يتجنب الحاجة إلى بيئات Python منفصلة لكل نموذج.
يبرز المؤلف التوازن القوي بين السرعة و VRAM لنموذج Nemotron ASR والذي يناسب بشكل خاص استخدام خدمات ASR المحلية، ويدعو إلى المساهمة لتحسين واجهات برمجة التطبيقات للبث المباشر وجدولة القطع.