audio.cpp adiciona suporte de streaming e Nemotron 3.5 ASR

O projeto audio.cpp atualizou seu framework nativo C++/GGML para incluir suporte inicial de streaming para reconhecimento e síntese de fala, junto com quatro novos modelos ASR/STT: Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR e Hviske ASR.

• Nemotron ASR transcreveu um arquivo de áudio de 327.6s em 2.17s offline em uma RTX 5090 com WER de 3.18%, enquanto seu caminho de streaming SSE alcançou o mesmo WER com TTFT de 307ms e VRAM de pico significativamente menor.
• VibeVoice ASR registrou o menor WER (0.66%), mas requereu substancialmente mais VRAM (25833M) em comparação com Nemotron.
• As capacidades de streaming foram implementadas para Nemotron ASR (via SSE) e VoxCPM2 TTS, enquanto o streaming do Higgs Audio STT é marcado como experimental.
• A atualização visa fornecer um framework de áudio local unificado que evita a necessidade de ambientes Python separados para cada modelo.

O autor destaca a forte compensação entre velocidade e VRAM do Nemotron ASR, tornando-o particularmente adequado para uso em serviços ASR locais e convida contribuições para melhorar as APIs de streaming e o agendamento de chunks.