O projeto llama.cpp lançou a versão b10270, introduzindo suporte para o modelo Qwen3-TTS. Esta atualização inclui uma mudança que quebra no binário llama-tts e implementa modificações arquiteturais significativas para lidar com o novo fluxo de trabalho de texto para fala.
A NVIDIA disponibilizou o modelo de chat de voz NemotronLabs-VoiceChat-11B no Hugging Face. O repositório é descrito como suportando capacidades de comunicação full duplex.
A OpenAI lançou o GPT-Live, um sistema de voz de terceira geração que elimina o detector de turno tradicional ao usar um modelo full-duplex capaz de ouvir e falar simultaneamente. Essa arquitetura permite conversas mais imediatas e naturais, mantendo baixa latência por meio de um novo design de sistema otimizado para desempenho em tempo real.
Um pesquisador publicou o catálogo de pesquisa OpenGauntlet, um recurso público contendo informações sobre 168 sistemas de texto para fala (TTS) e 106 sistemas de fala para texto (STT). Os diretórios cobrem modelos de código aberto e hospedados, licenças, requisitos de hardware, idiomas, capacidades, status do ciclo de vida, informações de origem e dados de benchmark publicados quando disponíveis.
A PolyAI apresentou o Dialog-RSN-1, um modelo de diálogo que processa o áudio bruto da chamada diretamente, em vez de depender de transcrições. Ele funde a gestão de turnos, reconhecimento de fala, chamada de funções e geração de respostas em um único sistema consciente de áudio.
A xAI anunciou o Grok Voice Think Fast 2.0, um modelo de voz de próxima geração que converte fala em fala, projetado para melhorar a inteligência, a precisão da transcrição e as capacidades de conversação. A atualização se baseia em seu antecessor, introduzindo ganhos significativos no raciocínio com fala, na habilidade de conversação e na confiabilidade do uso de ferramentas.
O Google lançou seu mais recente modelo de geração de música, Lyria 3.5, dentro do Google Flow Music para ajudar os usuários a criar faixas mais ricas com maior controle criativo.
O Laboratório Tongyi da Alibaba lançou o Qwen-Audio-3.0-TTS, um sistema de texto para fala hospedado disponível em duas variantes: Flash para interação em tempo real e Plus para geração de alta qualidade. Ambos os níveis são fornecidos por meio do Alibaba Cloud Model Studio, e não como pesos baixáveis.
A OpenAI lançou o GPT-Live-1 e o GPT-Live-1 mini para impulsionar uma ChatGPT Voice reconstruída, introduzindo processamento de áudio full-duplex que permite escuta e fala simultâneas. O sistema delega consultas complexas a modelos de raciocínio em segundo plano como o GPT-5.5, permitindo conversação contínua enquanto ocorre um pensamento mais profundo.
A NymphTech está buscando recomendações de modelos de clonagem de voz e síntese de fala de alta gama para aprimorar sua rede de estações de rádio com IA, focando especificamente em múltiplos idiomas e transmissões de formato longo. A empresa já lançou uma plataforma apresentando personalidades persistentes de IA como Trinity e Mark, com a Trinity transmitindo continuamente desde 9 de junho.
Pesquisadores propõem um framework que utiliza modelos de linguagem grandes conscientes de áudio (ALLMs) como juízes de feedback fino para verificar a presença de eventos-alvo e relações temporais no áudio gerado. Esta abordagem aborda a lacuna onde os modelos existentes de texto para áudio frequentemente falham em seguir instruções envolvendo múltiplos eventos sonoros e sua ordem.
Um estudo audita atalhos em nível de protocolo em modelos de linguagem grandes para áudio (LALMs) usados como juízes automáticos para avaliação de fala, revelando que um alto acordo com as classificações humanas não garante que os vereditos estejam fundamentados no áudio real. A pesquisa examina três protocolos de implantação: julgamento por blueprint de características, julgamento condicionado a referência e comparação emparelhada A/B entre seis juízes e quatro atributos.
O estudo investiga o uso da Distorção Temporal Dinâmica (DTW) em representações autossupervisionadas do WavLM para avaliar a precisão fonética, o ritmo e a entonação na fala L2 em inglês e japonês sem exigir dados de treinamento rotulados. A abordagem básica de DTW que compara a fala do aprendiz com modelos nativos supera o acordo humano na pontuação fonética holística e em nível de sentença.
O framework de código aberto Audient fornece uma camada de percepção de áudio local para agentes LLM que processa continuamente o som e constrói uma memória de conceitos por meio do uso. Ele utiliza CLAP embeddings, Whisper, Silero VAD e sqlite-vec para filtrar, gerar impressão digital e reconhecer eventos de áudio sem exigir chamadas constantes ao LLM.
Pesquisadores demonstram que um modelo de linguagem de difusão discreta pode transcrever fala refinando toda a transcrição em paralelo ao longo de um pequeno número de etapas de denoising, em vez de usar decodificadores autoregressivos.
A Hume introduziu o Real World VoiceEQ, um benchmark projetado para avaliar a qualidade humana da interação por voz, analisando o quão bem os sistemas reconhecem e produzem informações acústicas além das transcrições. O benchmark avalia mais de 40 modelos proprietários e open-source em mais de 15 dimensões, utilizando mais de 60 métricas derivadas de 785.000 avaliações humanas de TTS e 48.000 de STS.
O projeto audio.cpp lançou a versão 0.3, introduzindo cinco novos modelos de texto para fala: Supertonic 3, MOSS-TTS-Local, MOSS-TTS-Nano, IndexTTS2 e Irodori-TTS. A atualização também adiciona suporte GGUF, que será implementado modelo por modelo.
Pesquisadores propõem a Projeção de Gradiente Unificada (UGP), um método para mitigar o esquecimento catastrófico ao ajustar modelos grandes de ASR pré-treinados como Whisper em idiomas com poucos recursos. A UGP restringe as atualizações de parâmetros usando gradientes de referência do replay equilibrado por idioma dentro de um espaço de projeção unificado, igualando efetivamente as contribuições por idioma e reduzindo o viés do idioma dominante.
O autor apresenta o Cicero, um projeto de código aberto que fornece interação de voz bidirecional auto-hospedada para agentes de IA. Diferente de ferramentas de ditado unidirecionais, o Cicero permite que os agentes falem e liguem para usuários via Telegram, mantendo todo o áudio local.
Um desenvolvedor nos fóruns do Hugging Face busca entender como plataformas de produção como Bland.ai, Retell e Vapi gerenciam a orquestração de prompts sem depender de prompts de sistema massivos escritos à mão. O autor descreve sua implementação atual usando FastAPI, Sarvam STT/TTS e Pipecat SmartTurn V3, observando que a injeção manual por estado leva a uma complexidade crescente e falhas em casos limite.