Qwen3-ASR et Kokoro-TTS ONNX sur CPU permettent des assistants vocaux sans GPU

Un utilisateur a testé la latence de Qwen3-ASR et Kokoro-TTS exécutés en tant que modèles ONNX sur CPU pour déterminer combien de charge de traitement peut être déchargée du GPU dans un pipeline d'assistant vocal.

• Le test a utilisé les modèles Daumee/Qwen3-ASR-0.6B-ONNX-CPU et onnx-community/Kokoro-82M-v1.0-ONNX.
• La latence a été mesurée sur un MacBook M2 de 2022 et un AMD Ryzen 9 7900, ce dernier étant décrit comme « incroyablement rapide » tandis que le M2 est resté principalement utilisable.
• La configuration employait une fenêtre de suivi de 5 secondes et la Détection d'Activité Vocale (VAD) pour déclencher des commandes regex sans nécessiter de mot d'éveil à chaque interaction.

Cette approche libère entièrement le GPU pour exécuter le Grand Modèle de Langage, ouvrant potentiellement de nouvelles possibilités pour les architectures d'assistants vocaux locaux.