lab Hugging Face Blog · 4 jam lalu · releases

Open TTS Leaderboard meluncurkan evaluasi TTS multibahasa yang skalabel

Diterjemahkan dari English → Bahasa Indonesia

Open TTS Leaderboard telah dirilis untuk mengatasi fragmentasi dan kurangnya standarisasi dalam evaluasi Text-to-Speech (TTS) dengan menggunakan metrik objektif alih-alih hanya mengandalkan skor preferensi manusia berbasis arena yang lambat. Model dievaluasi berdasarkan kejelasan, kecepatan, dan kesamaan pembicara menggunakan Qwen3 ASR dan embedding WavLM.

Kejelasan diukur melalui word/character error rate (WER/CER) antara prompt dan transkrip audio yang dihasilkan.
Kecepatan dikuantifikasi oleh inverse real-time factor (RTFx) untuk inferensi offline batched dan time-to-first-audio (TTFA) untuk latensi streaming pada GPU dan CPU H200.
Kesamaan pembicara dihitung menggunakan cosine similarity antara embedding WavLM dari audio yang dihasilkan dan klip referensi.
Platform ini mendukung evaluasi multibahasa, dengan beralih antara WER bahasa Inggris dan skor berbasis karakter untuk bahasa Mandarin, Jepang, dan Korea.
Tab "Listen" memungkinkan pengguna membandingkan output dan memberikan suara pada preferensi, sementara tab "Streaming" peringkat model berdasarkan TTFA untuk aplikasi interaktif.

Leaderboard ini bertujuan untuk mengikuti rilis TTS yang cepat dan menyoroti model open-source yang sering kali kurang terwakili di arena komersial, mengundang umpan balik komunitas untuk membentuk metrik dan dataset di masa depan.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Blog Hugging Face Evaluation & benchmarks Voice & audio

Artikel terkait

lab Hugging Face Blog · 77 hari lalu · 37 tayangan

Hume merilis benchmark Real World VoiceEQ untuk kualitas suara AI manusia

Hume telah memperkenalkan Real World VoiceEQ, sebuah benchmark yang dirancang untuk mengevaluasi kualitas interaksi suara manusia dengan menilai seberapa baik sistem mengenali dan menghasilkan informasi akustik di luar transkrip. Benchmark ini mengevaluasi lebih dari 40 model proprietary dan open-source di atas 15+ dimensi menggunakan lebih dari 60 metrik yang berasal dari 785.000 penilaian manusia TTS dan 48.000 penilaian STS.

media Hugging Face Forums · 3 hari lalu · 9 tayangan

Claude Opus 5 dan Tetsu menemukan enam pemeriksaan CI kosong dalam proyek mereka sendiri

Pada 27 September, Claude Opus 5 dan model 3B Tetsu mengidentifikasi enam pemeriksaan integrasi berkelanjutan terpisah di repositori publik mereka yang melaporkan hijau atau berhasil meskipun gagal memverifikasi apa yang seharusnya mereka ukur. Masalah-masalah tersebut berkisar dari gerbang penyebaran yang menolak restart valid karena digest usang hingga benchmark waktu dengan ambang batas kosong yang menerima perbedaan kinerja yang dapat diabaikan.

arxiv arXiv cs.LG · 22 hari lalu · 28 tayangan

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi Hierarki DualCodec pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, sehingga memungkinkan generasi dengan latensi rendah.

arxiv arXiv cs.CL · 22 hari lalu · 26 tayangan

TontaubeV1 memungkinkan streaming teks-ke-suara dengan konteks terbatas

Para peneliti menyajikan TontaubeV1, sebuah model teks-ke-suara yang mempertahankan prosodi alami sambil memungkinkan inferensi streaming dari satu GPU konsumen. Sistem ini menggunakan representasi DualCodec hierarkis pada 12.5 Hz untuk memisahkan aliran semantik dari penyempurnaan akustik, memungkinkan dekode kausal meskipun sifat dasar codec tersebut nonkausal.

arxiv arXiv cs.CL · 22 hari lalu · 20 tayangan

Laporan Teknis AuK: Model Fondasional Sumber Terbuka untuk Generasi dan Pengeditan Ucapan

Laporan teknis AuK memperkenalkan model fondasional sumber terbuka yang menyatukan generasi dan pengeditan ucapan melalui instruksi bahasa alami dan konteks audio.