audio.cpp menambahkan dukungan streaming dan Nemotron 3.5 ASR

Proyek audio.cpp telah memperbarui framework C++/GGML native-nya untuk menyertakan dukungan streaming awal untuk pengenalan dan sintesis suara, bersama dengan empat model ASR/STT baru: Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR, dan Hviske ASR.

• Nemotron ASR mentranskripsi file audio 327,6s secara offline dalam 2,17s pada RTX 5090 dengan WER 3,18%, sementara jalur streaming SSE-nya mencapai WER yang sama dengan TTFT 307ms dan VRAM puncak yang jauh lebih rendah.
• VibeVoice ASR mencatatkan WER terendah (0,66%) tetapi membutuhkan VRAM yang jauh lebih besar (25833M) dibandingkan Nemotron.
• Kemampuan streaming diimplementasikan untuk Nemotron ASR (melalui SSE) dan VoxCPM2 TTS, dengan streaming Higgs Audio STT ditandai sebagai eksperimental.
• Pembaruan ini bertujuan untuk menyediakan framework audio lokal terpadu yang menghindari kebutuhan akan lingkungan Python terpisah untuk setiap model.

Penulis menyoroti tradeoff kecepatan-VRAM yang kuat dari Nemotron ASR yang sangat cocok untuk penggunaan layanan ASR lokal dan mengundang kontribusi untuk meningkatkan API streaming dan penjadwalan chunk.