media r/LocalLLaMA · 1 jam lalu · open_models

FireRedTeam merilis model FireRedAudio dan FireRedTTS3

Diterjemahkan dari English → Bahasa Indonesia

FireRedTeam telah merilis dua model audio sumber terbuka baru: FireRedAudio, sebuah model bahasa audio serbaguna, dan FireRedTTS3, sebuah sistem terpadu untuk generasi dan pengeditan suara.

FireRedAudio dibangun di atas LLM 9B-parameter yang berbagi representasi kontinu terdekoupling, mendukung ASR, pemahaman audio, TTS zero-shot, TTS instruksi, pengeditan ucapan semantik/akustik, dan penjangkaran temporal untuk rekaman hingga satu jam.
FireRedTTS3-Base memungkinkan kloning suara zero-shot di 24 bahasa dan 21 dialek Mandarin, mencapai hasil kompetitif pada benchmark MiniMax-MLS-Test dan Seed-TTS-eval.
FireRedTTS3-Instruct memungkinkan desain suara berbasis bahasa alami dan pengeditan ucapan bebas bentuk (semantik dan akustik) dalam satu model terpadu.

Rilis ini menyediakan pengguna dengan alat komprehensif untuk memahami konteks audio kompleks serta menghasilkan ucapan multibahasa berfidelitas tinggi.

Kepentingan 2/3 r/LocalLLaMA Open weights Voice & audio

Baca aslinya

Magpie TTS NVIDIA menambahkan bahasa Arab, Korea, Portugis dan meningkatkan kualitas

NVIDIA telah merilis pembaruan untuk model Magpie Multilingual TTS-nya, memperluas dukungan ke dua belas bahasa dengan penambahan Bahasa Arab Standar Modern, Korea, dan Portugis Brasil. Rilis ini juga mencakup peningkatan kualitas di berbagai bahasa yang ada melalui pembaruan data pelatihan dan perubahan arsitektur.

media MarkTechPost · 12 hari lalu · 44 tayangan

NVIDIA merilis NemotronLabs VoiceChat 11B, model speech-to-speech full-duplex terbuka dengan pergantian giliran ~450 ms

NVIDIA telah merilis NemotronLabs VoiceChat 11B, model speech-to-speech end-to-end 11B parameter yang terbuka dan dirancang untuk percakapan real-time full-duplex. Tidak seperti tumpukan bertingkat yang merangkai ASR, LLM, dan TTS, jaringan terpadu ini melakukan pemahaman dan generasi suara secara streaming secara bersamaan, mencapai latensi pergantian giliran yang mulus sebesar 448 ms di Full-Duplex-Bench 1.0.

media r/LocalLLaMA · 18 hari lalu · 21 tayangan

NVIDIA merilis model NemotronLabs-VoiceChat-11B di Hugging Face

NVIDIA telah membuat model obrolan suara NemotronLabs-VoiceChat-11B tersedia di Hugging Face. Repositori tersebut dideskripsikan mendukung kemampuan komunikasi full duplex.

arxiv arXiv cs.CL · 40 hari lalu · 19 tayangan

Freya-TTS merilis model TTS Turki tanpa tokenizer dengan WER 8,0%

Para peneliti memperkenalkan Freya-TTS, model text-to-speech yang ringkas dan bebas tokenizer, dioptimalkan untuk bahasa Turki yang mencapai tingkat kesalahan kata (WER) 8,0% pada benchmark Freya-TR-Eval. Diffusion Transformer pencocokan aliran kondisional non-autoregresif dengan 183,2 juta parameter beroperasi di ruang laten kontinu AudioVAE2 yang dibekukan, memungkinkan rekonstruksi berkualitas tinggi 48 kHz tanpa fonemizer atau tokenizer ucapan diskrit.

media r/LocalLLaMA · 43 hari lalu

OpenMOSS merilis MOSS-Transcribe-Diarize 0.9B untuk transkripsi dan diarization bersama

OpenMOSS telah merilis MOSS-Transcribe-Diarize, model pemahaman audio end-to-end dengan 0,9 miliar parameter yang dirancang untuk transkripsi multi-pembicara format panjang, diarization, timestamp, dan kesadaran peristiwa akustik.