audio.cpp 项目已更新其原生 C++/GGML 框架，以包含语音识别和合成的初始流式传输支持，以及四个新的 ASR/STT 模型：Nemotron 3.5 ASR、Higgs Audio STT、VibeVoice ASR 和 Hviske ASR。

  • Nemotron ASR 在 RTX 5090 上以离线模式用 2.17 秒转录了 327.6 秒的音频文件，WER 为 3.18%，而其流式 SSE 路径以 307ms TTFT 实现了相同的 WER，且峰值 VRAM 显著降低。
  • VibeVoice ASR 记录了最低的 WER (0.66%)，但与 Nemotron 相比需要更多的 VRAM (25833M)。
  • 为 Nemotron ASR（通过 SSE）和 VoxCPM2 TTS 实现了流式传输功能，而 Higgs Audio STT 的流式传输被标记为实验性。
  • 此次更新旨在提供一个统一的本地音频框架，避免为每个模型使用单独的 Python 环境的需求。

作者强调了 Nemotron ASR 在速度与 VRAM 之间的强大权衡，使其特别适合用于本地 ASR 服务，并邀请贡献者改进流式 API 和分块调度。