arxiv arXiv cs.LG · 1 hari lalu · research

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi Hierarki DualCodec pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, sehingga memungkinkan generasi dengan latensi rendah.

Teks ditokenisasi per karakter dan diproses oleh transformer yang berasal dari Qwen3 untuk memprediksi durasi ucapan.
Tiga transformer yang semakin kecil menambahkan penyempurnaan akustik, total 2.9B parameter.
Rekonstruksi DualCodec yang tumpang tindih dipetakan ke ruang laten VibeVoice untuk dekode kausal.
Model ini menerima hingga satu menit audio referensi dan mendukung input bahasa Inggris, Jerman, dan multibahasa.
Pada satu RTX 5090, jalur streaming mencapai sekitar 200 ms ke audio pertama dengan RTF end-to-end sebesar 0.08.
TontaubeV1 menyamai ElevenLabs Flash v2.5 dan mengungguli Fish Audio S2 Pro, Gradium API, serta Cartesia Sonic 3 dalam hal prosodi.

Bobot model dirilis di Hugging Face di bawah Lisensi Model Komunitas Tontaube 1.0.

Kepentingan 2/3 arXiv cs.LG Hugging Face Open weights Voice & audio

Artikel terkait

arxiv arXiv cs.CL · 1 hari lalu · 1 tayangan

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi DualCodec hierarkis pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, memungkinkan dekode kausal meskipun sifat dasar codec tersebut nonkausal.

arxiv arXiv cs.CL · 1 hari lalu · 3 tayangan

Laporan Teknis AuK: Model Fondasional Sumber Terbuka untuk Generasi dan Pengeditan Ucapan

Laporan teknis AuK memperkenalkan model fondasional sumber terbuka yang menyatukan generasi dan pengeditan ucapan melalui instruksi bahasa alami dan konteks audio.

arxiv arXiv cs.CL · 59 hari lalu · 2 tayangan

Freya-TTS merilis model TTS Turki tanpa tokenizer dengan WER 8,0%

Para peneliti memperkenalkan Freya-TTS, model text-to-speech yang ringkas dan bebas tokenizer, dioptimalkan untuk bahasa Turki yang mencapai tingkat kesalahan kata (WER) 8,0% pada benchmark Freya-TR-Eval. Diffusion Transformer pencocokan aliran kondisional non-autoregresif dengan 183,2 juta parameter beroperasi di ruang laten kontinu AudioVAE2 yang dibekukan, memungkinkan rekonstruksi berkualitas tinggi 48 kHz tanpa fonemizer atau tokenizer ucapan diskrit.

lab Tencent Hunyuan (HF) · 1 hari lalu · 3 tayangan

Tencent merilis model dasar AuK open-source untuk generasi dan pengeditan suara

Tencent telah membuat model dasar AuK 1.5B-nya untuk generasi dan pengeditan suara tersedia sebagai perangkat lunak open-source, termasuk kode dan bobot model.

lab Tencent Hunyuan (HF) · 1 hari lalu · 3 tayangan

Tencent merilis AuK-Flash open-source, model generasi suara distilasi 1.5B

Tencent telah membuat model dasar AuK untuk generasi dan pengeditan suara tersedia sebagai sumber terbuka, termasuk kode dan bobot di Hugging Face dan ModelScope. Rilis ini mencakup AuK-Flash, varian distilasi yang dirancang untuk inferensi cepat dengan hanya 4 langkah.