arxiv arXiv cs.CL · há 1 d · research

Relatório Técnico do AuK: Um Modelo Fundamental de Código Aberto para Geração e Edição de Fala

Traduzido do English → Português (BR)

O relatório técnico do AuK apresenta um modelo fundamental de código aberto que unifica a geração e edição de fala por meio de instruções em linguagem natural e contexto de áudio.

O modelo é treinado com aproximadamente 3,03 bilhões de instâncias de instrução-áudio e 1,95 milhão de horas de supervisão em cinco famílias de tarefas.
A arquitetura combina um grande modelo de linguagem multimodal, um VAE para condicionamento acústico e um Transformer híbrido de fluxo retificado.
O pós-treinamento inclui otimização de preferências com feedback humano e aprendizado por reforço baseado em recompensas.
O AuK-Flash realiza inferência em 4 etapas, proporcionando uma aceleração de 4,5 vezes no tempo real em comparação ao modelo completo.

Os autores lançam o código-fonte e os pesos do modelo para apoiar a reprodutibilidade e pesquisas futuras.

Importância 2/3 arXiv cs.CL Hugging Face Open weights Voice & audio

Ler original

TontaubeV1 permite streaming de texto-para-fala com contexto limitado

Pesquisadores apresentam o TontaubeV1, um modelo de texto-para-fala que preserva a prosódia natural enquanto permite inferência em streaming a partir de uma única GPU de consumo. O sistema utiliza uma representação DualCodec hierárquica a 12,5 Hz para separar fluxos semânticos de refinamentos acústicos, permitindo geração de baixa latência.

arxiv arXiv cs.CL · há 1 d · 1 visualização

TontaubeV1 permite texto-para-fala em streaming com contexto limitado

Pesquisadores apresentam o TontaubeV1, um modelo de texto-para-fala que preserva a prosódia natural enquanto permite inferência em streaming a partir de uma única GPU de consumo. O sistema utiliza uma representação DualCodec hierárquica a 12.5 Hz para separar fluxos semânticos de refinamentos acústicos, permitindo decodificação causal apesar da natureza não causal do codec subjacente.

arxiv arXiv cs.CL · há 59 d · 2 visualizações

Freya-TTS lança modelo de TTS turco sem tokenizador com WER de 8,0%

Pesquisadores apresentam o Freya-TTS, um modelo compacto de texto para fala sem tokenizador otimizado para turco que alcança uma taxa de erro de palavras (WER) de 8,0% no benchmark Freya-TR-Eval. O Diffusion Transformer condicional não autoregressivo com 183,2 milhões de parâmetros, baseado em matched flow, opera no espaço latente contínuo congelado do AudioVAE2, permitindo reconstrução de alta qualidade a 48 kHz sem fonemizador ou tokenizador de fala discreto.

lab Tencent Hunyuan (HF) · há 1 d · 3 visualizações

Tencent lança modelo base de código aberto AuK para geração e edição de fala

A Tencent tornou disponível como software de código aberto seu modelo base AuK 1.5B para geração e edição de fala, incluindo código e pesos do modelo.

lab Tencent Hunyuan (HF) · há 1 d · 3 visualizações

Tencent lança o AuK-Flash de código aberto, um modelo de geração de fala destilado de 1.5B

A Tencent disponibilizou o modelo base AuK para geração e edição de fala como código aberto, incluindo código e pesos no Hugging Face e ModelScope. O lançamento inclui o AuK-Flash, uma variante destilada projetada para inferência rápida com apenas 4 etapas.