Qwen3-ASR dan Kokoro-TTS ONNX di CPU memungkinkan asisten suara tanpa GPU

Seorang pengguna menguji latensi Qwen3-ASR dan Kokoro-TTS yang berjalan sebagai model ONNX di CPU untuk menentukan berapa banyak beban pemrosesan yang dapat dialihkan dari GPU dalam pipeline asisten suara.

• Uji tersebut memanfaatkan Daumee/Qwen3-ASR-0.6B-ONNX-CPU dan onnx-community/Kokoro-82M-v1.0-ONNX.
• Latensi diukur pada MacBook M2 2022 dan AMD Ryzen 9 7900, yang terakhir digambarkan sebagai "sangat cepat" sementara M2 tetap sebagian besar dapat digunakan.
• Penyiapan menggunakan jendela tindak lanjut 5 detik dan Deteksi Aktivitas Suara (VAD) untuk memicu perintah regex tanpa memerlukan kata bangun untuk setiap interaksi.

Pendekatan ini membebaskan GPU sepenuhnya untuk menjalankan Model Bahasa Besar, berpotensi membuka kemungkinan baru untuk arsitektur asisten suara lokal.