audio.cpp 프로젝트는 음성 인식 및 합성을 위한 초기 스트리밍 지원과 함께 네 가지 새로운 ASR/STT 모델(Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR, Hviske ASR)을 포함하는 네이티브 C++/GGML 프레임워크를 업데이트했습니다.
- Nemotron ASR은 RTX 5090에서 327.6초 오디오 파일을 오프라인으로 2.17초에 전사했으며 WER는 3.18%였습니다. 스트리밍 SSE 경로는 동일한 WER를 달성하면서 TTFT는 307ms이고 피크 VRAM은 훨씬 낮았습니다.
- VibeVoice ASR은 가장 낮은 WER(0.66%)를 기록했지만 Nemotron에 비해 상당히 많은 VRAM(25833M)이 필요했습니다.
- Nemotron ASR(SSE経由) 및 VoxCPM2 TTS에 스트리밍 기능이 구현되었으며, Higgs Audio STT의 스트리밍은 실험적으로 표시되었습니다.
- 이 업데이트는 각 모델마다 별도의 Python 환경을 필요로 하지 않는 통합 로컬 오디오 프레임워크를 제공하는 것을 목표로 합니다.
저자는 Nemotron ASR의 강력한 속도-VRAM 트레이드오프를 강조하며 로컬 ASR 서비스 사용에 특히 적합하다고 지적합니다. 또한 스트리밍 API 및 청크 스케줄링 개선을 위한 기여를 초대합니다.