一名用户测试了在CPU上作为ONNX模型运行的Qwen3-ASR和Kokoro-TTS的延迟，以确定在语音助手管道中可以从GPU卸载多少处理负载。

  • 该测试使用了Daumee/Qwen3-ASR-0.6B-ONNX-CPU和onnx-community/Kokoro-82M-v1.0-ONNX模型。
  • 延迟是在2022款MacBook M2和AMD Ryzen 9 7900上测量的，后者被描述为“极快”，而M2保持基本可用。
  • 该设置采用了5秒的后续窗口和语音活动检测（VAD）来触发正则表达式命令，无需每次交互都使用唤醒词。

这种方法完全释放了GPU以运行大型语言模型，可能为本地语音助手架构开辟新的可能性。