github llama.cpp · agora mesmo · inference

llama.cpp b10369 adiciona suporte ao pocket-tts com geração CUDA 80% mais rápida

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10369, introduzindo suporte para o modelo de texto-para-fala pocket-tts. Esta atualização inclui uma nova implementação de convoluções transpostas usando GEMM e col2im para otimizar o desempenho.

O tempo de geração por quadro cai em 80% no CUDA e em 50% na CPU em comparação com implementações anteriores.
A saída corresponde à implementação de referência com uma correlação de 0.999994 e contagens de quadros idênticas.
Os pacotes de idiomas agora ajustam o preenchimento final da fala e o preenchimento de prompts curtos via novas chaves mmproj.
Um teste com um texto longo em francês mostrou geração dentro de 2% do tempo de referência (22.96s vs 23.44s).

A otimização acelera significativamente a síntese de áudio mantendo a fidelidade, e os arquivos mmproj existentes devem ser convertidos para conter as novas chaves de configuração.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Voice & audio

Ler original

audio.cpp 0.3 adiciona Supertonic 3, MOSS-TTS, IndexTTS2 e Irodori-TTS com suporte GGUF

O projeto audio.cpp lançou a versão 0.3, introduzindo cinco novos modelos de texto para fala: Supertonic 3, MOSS-TTS-Local, MOSS-TTS-Nano, IndexTTS2 e Irodori-TTS. A atualização também adiciona suporte GGUF, que será implementado modelo por modelo.

media r/LocalLLaMA · há 33 d

Qwen3-ASR e Kokoro-TTS ONNX em CPU permitem assistentes de voz sem GPU

Um usuário testou a latência do Qwen3-ASR e Kokoro-TTS executando como modelos ONNX em CPU para determinar quanto da carga de processamento pode ser descarregado da GPU em um pipeline de assistente de voz.

media r/LocalLLaMA · há 34 d

audio.cpp adiciona suporte de streaming e Nemotron 3.5 ASR

O projeto audio.cpp atualizou seu framework nativo C++/GGML para incluir suporte inicial de streaming para reconhecimento e síntese de fala, junto com quatro novos modelos ASR/STT: Nemotron 3.5 ASR, Higgs Audio STT, VibeVoice ASR e Hviske ASR.

media r/LocalLLaMA · há 35 d · 1 visualização

Desenvolvedor cria app para Android para inferência de Qwen3 TTS no dispositivo

Um desenvolvedor criou um aplicativo para Android que executa o modelo Qwen3TTS 0.6B localmente em dispositivos móveis. O app utiliza um backend personalizado de C++ baseado em GGML para habilitar o processamento de texto para fala sem dependência de nuvem.

media r/LocalLLaMA · há 38 d

audio.cpp adiciona suporte nativo em C++ para VibeVoice 1.5B em inferência de áudio local

O autor do runtime audio.cpp adicionou suporte ao modelo VibeVoice 1.5B, permitindo a geração de texto-para-fala de múltiplos falantes e formato longo em um ambiente nativo C++/ggml.