Qwen3-ASR e Kokoro-TTS ONNX em CPU permitem assistentes de voz sem GPU

Um usuário testou a latência do Qwen3-ASR e Kokoro-TTS executando como modelos ONNX em CPU para determinar quanto da carga de processamento pode ser descarregado da GPU em um pipeline de assistente de voz.

• O teste utilizou os modelos Daumee/Qwen3-ASR-0.6B-ONNX-CPU e onnx-community/Kokoro-82M-v1.0-ONNX.
• A latência foi medida em um MacBook M2 de 2022 e um AMD Ryzen 9 7900, sendo este último descrito como "incrivelmente rápido" enquanto o M2 permaneceu majoritariamente utilizável.
• A configuração empregou uma janela de acompanhamento de 5 segundos e Detecção de Atividade de Voz (VAD) para acionar comandos regex sem exigir uma palavra de ativação para cada interação.

Essa abordagem libera a GPU inteiramente para executar o Modelo de Linguagem Grande, potencialmente abrindo novas possibilidades para arquiteturas de assistentes de voz locais.