Qwen3-ASR y Kokoro-TTS ONNX en CPU permiten asistentes de voz sin GPU

Un usuario probó la latencia de Qwen3-ASR y Kokoro-TTS ejecutándose como modelos ONNX en CPU para determinar cuánto carga de procesamiento se puede descargar de la GPU en una tubería de asistente de voz.

• La prueba utilizó los modelos Daumee/Qwen3-ASR-0.6B-ONNX-CPU y onnx-community/Kokoro-82M-v1.0-ONNX.
• La latencia se midió en un MacBook M2 de 2022 y un AMD Ryzen 9 7900, describiéndose este último como «increíblemente rápido» mientras que el M2 permaneció mayormente utilizable.
• La configuración empleó una ventana de seguimiento de 5 segundos y Detección de Actividad de Voz (VAD) para activar comandos regex sin requerir una palabra de activación para cada interacción.

Este enfoque libera completamente la GPU para ejecutar el Modelo de Lenguaje Grande, potencialmente abriendo nuevas posibilidades para las arquitecturas de asistentes de voz locales.