arxiv arXiv cs.CL · 1 hari lalu · research

Laporan Teknis AuK: Model Fondasional Sumber Terbuka untuk Generasi dan Pengeditan Ucapan

Diterjemahkan dari English → Bahasa Indonesia

Laporan teknis AuK memperkenalkan model fondasional sumber terbuka yang menyatukan generasi dan pengeditan ucapan melalui instruksi bahasa alami dan konteks audio.

Model ini dilatih pada sekitar 3,03 miliar pasangan instruksi-audio dan 1,95 juta jam pengawasan di lima keluarga tugas.
Arsitektur menggabungkan model bahasa besar multimodal, VAE untuk kondisioning akustik, dan Transformer aliran terikat hibrida.
Pasca-pelatihan mencakup optimasi preferensi umpan balik manusia dan pembelajaran penguatan berbasis imbalan.
AuK-Flash mencapai inferensi dalam 4 langkah dengan percepatan waktu nyata 4,5 kali lipat dibandingkan model penuh.

Para penulis merilis kode sumber dan bobot model untuk mendukung reproduktibilitas dan penelitian lebih lanjut.

Kepentingan 2/3 arXiv cs.CL Hugging Face Open weights Voice & audio

Baca aslinya

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi Hierarki DualCodec pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, sehingga memungkinkan generasi dengan latensi rendah.

arxiv arXiv cs.CL · 1 hari lalu · 1 tayangan

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi DualCodec hierarkis pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, memungkinkan dekode kausal meskipun sifat dasar codec tersebut nonkausal.

arxiv arXiv cs.CL · 59 hari lalu · 2 tayangan

Freya-TTS merilis model TTS Turki tanpa tokenizer dengan WER 8,0%

Para peneliti memperkenalkan Freya-TTS, model text-to-speech yang ringkas dan bebas tokenizer, dioptimalkan untuk bahasa Turki yang mencapai tingkat kesalahan kata (WER) 8,0% pada benchmark Freya-TR-Eval. Diffusion Transformer pencocokan aliran kondisional non-autoregresif dengan 183,2 juta parameter beroperasi di ruang laten kontinu AudioVAE2 yang dibekukan, memungkinkan rekonstruksi berkualitas tinggi 48 kHz tanpa fonemizer atau tokenizer ucapan diskrit.

lab Tencent Hunyuan (HF) · 1 hari lalu · 3 tayangan

Tencent merilis model dasar AuK open-source untuk generasi dan pengeditan suara

Tencent telah membuat model dasar AuK 1.5B-nya untuk generasi dan pengeditan suara tersedia sebagai perangkat lunak open-source, termasuk kode dan bobot model.

lab Tencent Hunyuan (HF) · 1 hari lalu · 3 tayangan

Tencent merilis AuK-Flash open-source, model generasi suara distilasi 1.5B

Tencent telah membuat model dasar AuK untuk generasi dan pengeditan suara tersedia sebagai sumber terbuka, termasuk kode dan bobot di Hugging Face dan ModelScope. Rilis ini mencakup AuK-Flash, varian distilasi yang dirancang untuk inferensi cepat dengan hanya 4 langkah.