あるユーザーは、音声アシスタントのパイプラインにおいてGPUからオフロードできる処理負荷を把握するため、CPU上でONNXモデルとして動作するQwen3-ASRとKokoro-TTSのレイテンシをテストした。

  • テストではDaumee/Qwen3-ASR-0.6B-ONNX-CPUおよびonnx-community/Kokoro-82M-v1.0-ONNXモデルが利用された。
  • レイテンシは2022年MacBook M2とAMD Ryzen 9 7900で測定され、後者は「驚くほど高速」と説明され、M2は主に使用可能であった。
  • このセットアップでは5秒間のフォローアップウィンドウと音声活動検出（VAD）を採用し、毎回の対話にウェイクワードを必要とせずに正規表現コマンドをトリガーした。

このアプローチによりGPUが完全に解放され、大規模言語モデルの実行に専念できるため、ローカル音声アシスタントアーキテクチャにおける新たな可能性が開かれる可能性がある。