audio.cpp प्रोजेक्ट ने अपने नैटिव C++/GGML फ्रेमवर्क को अपडेट किया है जिसमें वॉयस रिकग्निशन और सिंथेसिस के लिए प्रारंभिक स्ट्रीमिंग समर्थन शामिल है, साथ ही चार नए ASR/STT मॉडल: Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR और Hviske ASR।
- Nemotron ASR ने RTX 5090 पर 2.17 सेकंड में ऑफलाइन 327.6s के ऑडियो फ़ाइल को ट्रांसक्राइब किया, जिसका WER 3.18% था, जबकि इसका स्ट्रीमिंग SSE पथ समान WER प्राप्त करने में 307ms TTFT और काफी कम पीक VRAM के साथ सक्षम रहा।
- VibeVoice ASR ने सबसे कम WER (0.66%) दर्ज किया लेकिन Nemotron की तुलना में काफी अधिक VRAM (25833M) की आवश्यकता थी।
- Nemotron ASR (SSE के माध्यम से) और VoxCPM2 TTS के लिए स्ट्रीमिंग क्षमताओं को लागू किया गया है, जबकि Higgs Audio STT स्ट्रीमिंग को प्रयोगात्मक के रूप में चिह्नित किया गया है।
- अपडेट का उद्देश्य एक एकीकृत स्थानीय ऑडियो फ्रेमवर्क प्रदान करना है जो प्रत्येक मॉडल के लिए अलग-अलग Python वातावरण की आवश्यकता से बचाए।
लेखक Nemotron ASR की गति और VRAM के बीच मजबूत ट्रेडऑफ़ पर प्रकाश डालते हैं, जो स्थानीय ASR सेवा उपयोग के लिए विशेष रूप से उपयुक्त है, और स्ट्रीमिंग APIs और चंक शेड्यूलिंग को बेहतर बनाने के लिए योगदान आमंत्रित करते हैं।