arxiv arXiv cs.CL · hace 1 d · research

Informe técnico de AuK: un modelo fundamental de código abierto para la generación y edición de voz

Traducido del English → Español

El informe técnico de AuK presenta un modelo fundamental de código abierto que unifica la generación y edición de voz mediante instrucciones en lenguaje natural y contexto de audio.

El modelo se entrena con aproximadamente 3.03 mil millones de instancias de instrucción-audio y 1.95 millones de horas de supervisión en cinco familias de tareas.
La arquitectura combina un gran modelo de lenguaje multimodal, un VAE para condicionamiento acústico y un Transformer híbrido de flujo rectificado.
El postentrenamiento incluye optimización de preferencias con retroalimentación humana y aprendizaje por refuerzo basado en recompensas.
AuK-Flash logra inferencia en 4 pasos con una aceleración de 4.5 veces en tiempo real respecto al modelo completo.

Los autores publican el código fuente y los pesos del modelo para apoyar la reproducibilidad y la investigación futura.

Importancia 2/3 arXiv cs.CL Hugging Face Open weights Voice & audio

Leer original

TontaubeV1 permite texto-a-voz en streaming con contexto acotado

Los investigadores presentan TontaubeV1, un modelo de texto-a-voz que preserva la prosodia natural mientras habilita inferencia en streaming desde una única GPU de consumo. El sistema utiliza una representación DualCodec jerárquica a 12.5 Hz para separar flujos semánticos de refinamientos acústicos, permitiendo generación de baja latencia.

arxiv arXiv cs.CL · hace 1 d · 1 vista

TontaubeV1 permite texto-a-voz en streaming con contexto acotado

Los investigadores presentan TontaubeV1, un modelo de texto-a-voz que preserva la prosodia natural mientras habilita inferencia en streaming desde una única GPU de consumo. El sistema utiliza una representación DualCodec jerárquica a 12.5 Hz para separar las secuencias semánticas de los refinamientos acústicos, permitiendo la decodificación causal a pesar de la naturaleza no causal del códec subyacente.

arxiv arXiv cs.CL · hace 59 d · 2 vistas

Freya-TTS lanza un modelo de TTS turco sin tokenizador con WER del 8,0%

Los investigadores presentan Freya-TTS, un modelo compacto de texto a voz sin tokenizador optimizado para turco que alcanza una tasa de error de palabras (WER) del 8,0% en la benchmark Freya-TR-Eval. El Diffusion Transformer condicional no autoregresivo con 183,2 millones de parámetros, basado en matched flow, opera en el espacio latente continuo congelado de AudioVAE2, permitiendo una reconstrucción de alta calidad a 48 kHz sin fonemizador ni tokenizador de habla discreto.

lab Tencent Hunyuan (HF) · hace 1 d · 3 vistas

Tencent lanza el modelo base de código abierto AuK para generación y edición de voz

Tencent ha puesto a disposición como software de código abierto su modelo base AuK 1.5B para generación y edición de voz, incluyendo código y pesos del modelo.

lab Tencent Hunyuan (HF) · hace 1 d · 3 vistas

Tencent lanza AuK-Flash de código abierto, un modelo de generación de voz destilado de 1.5B

Tencent ha hecho disponible el modelo base AuK para la generación y edición de voz como código abierto, incluyendo el código y los pesos en Hugging Face y ModelScope. El lanzamiento incluye AuK-Flash, una variante destilada diseñada para una inferencia rápida con solo 4 pasos.