audio.cppプロジェクトは、音声認識および合成のための初期ストリーミングサポートと、4つの新しいASR/STTモデル（Nemotron 3.5 ASR、Higgs Audio STT、VibeVoice ASR、Hviske ASR）を含むネイティブC++/GGMLフレームワークを更新しました。

  • Nemotron ASRは、RTX 5090上で327.6秒のオーディオファイルをオフラインで2.17秒で転写し、WERは3.18%でした。一方、ストリーミングSSEパスでは同じWERを達成しつつ、TTFTは307msでピークVRAMも大幅に低減しました。
  • VibeVoice ASRは最低のWER（0.66%）を記録しましたが、Nemotronと比較して大幅に多くのVRAM（25833M）を必要としました。
  • Nemotron ASR（SSE経由）およびVoxCPM2 TTSにストリーミング機能が実装され、Higgs Audio STTのストリーミングは実験的としてマークされました。
  • このアップデートは、各モデルごとに別々のPython環境を必要としない、統一されたローカルオーディオフレームワークを提供することを目的としています。

著者は、Nemotron ASRの速度とVRAMの優れたトレードオフを強調し、ローカルASRサービスの利用に特に適していると指摘しています。また、ストリーミングAPIおよびチャンクスケジューリングの改善への貢献を呼びかけています。