audio.cpp ajoute le support du streaming et Nemotron 3.5 ASR

Le projet audio.cpp a mis à jour son framework C++/GGML natif pour inclure un support de streaming initial pour la reconnaissance et la synthèse vocales, ainsi que quatre nouveaux modèles ASR/STT : Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR et Hviske ASR.

• Nemotron ASR a transcrit un fichier audio de 327,6 s en 2,17 s hors ligne sur une RTX 5090 avec un WER de 3,18 %, tandis que sa voie SSE en streaming a atteint le même WER avec un TTFT de 307 ms et une VRAM de pointe nettement inférieure.
• VibeVoice ASR a enregistré le WER le plus bas (0,66 %) mais a nécessité beaucoup plus de VRAM (25833 M) par rapport à Nemotron.
• Les capacités de streaming ont été implémentées pour Nemotron ASR (via SSE) et VoxCPM2 TTS, tandis que le streaming de Higgs Audio STT est marqué comme expérimental.
• Cette mise à jour vise à fournir un framework audio local unifié évitant la nécessité d'environnements Python séparés pour chaque modèle.

L'auteur souligne le fort compromis vitesse/VRAM de Nemotron ASR, particulièrement adapté à l'utilisation de services ASR locaux, et invite à contribuer à l'amélioration des API de streaming et de l'ordonnancement par chunks.