एक उपयोगकर्ता ने वॉइस असिस्टेंट पाइपलाइन में GPU से कितना प्रोसेसिंग लोड ऑफलोड किया जा सकता है, यह निर्धारित करने के लिए CPU पर ONNX मॉडल के रूप में चलने वाले Qwen3-ASR और Kokoro-TTS की लेटेंसी का परीक्षण किया।
- परीक्षण में Daumee/Qwen3-ASR-0.6B-ONNX-CPU और onnx-community/Kokoro-82M-v1.0-ONNX मॉडल का उपयोग किया गया।
- लेटेंसी को 2022 MacBook M2 और AMD Ryzen 9 7900 पर मापा गया, जिसमें बाद वाले को "अत्यंत तेज़" बताया गया जबकि M2 मुख्य रूप से उपयोग योग्य बना रहा।
- सेटअप ने हर इंटरैक्शन के लिए वॉकवर्ड की आवश्यकता के बिना रेगेक्स कमांड्स को ट्रिगर करने के लिए 5-सेकंड का फॉलो-अप विंडो और वॉइस एक्टिविटी डिटेक्शन (VAD) का उपयोग किया।
यह दृष्टिकोण GPU को पूरी तरह से बड़ा भाषा मॉडल चलाने के लिए मुक्त करता है, जिससे स्थानीय वॉइस असिस्टेंट आर्किटेक्चर के लिए नए संभावनाएं खुल सकती हैं।