O projeto audio.cpp lançou a versão 0.3, introduzindo cinco novos modelos de texto para fala: Supertonic 3, MOSS-TTS-Local, MOSS-TTS-Nano, IndexTTS2 e Irodori-TTS. A atualização também adiciona suporte GGUF, que será implementado modelo por modelo.
- Supertonic 3 alcança velocidade superior a 200x em tempo real no CUDA (RTX 5090) e aproximadamente 47 ms de TTFT em modo de streaming.
- Uma demo gerou 10 horas de áudio das Aventuras de Sherlock Holmes em cerca de 3 minutos em uma RTX 5090.
- Supertonic 3 é significativamente mais rápido que a implementação oficial do ONNX porque evita enviar nós de volta para a CPU.
- IndexTTS2 mostra um aumento de velocidade de 5.65x sobre o Python para entradas de formato longo (texto de 6000 caracteres + emoção de 2400 caracteres) no CUDA.
- Outros novos modelos variam de velocidades semelhantes a mais de 2x mais rápido dependendo do caso de teste.
O lançamento destaca ganhos substanciais de desempenho para inferência C++/GGML em comparação com implementações em Python, particularmente em hardware GPU.