한 사용자가 음성 비서 파이프라인에서 GPU로 오프로드할 수 있는 처리 부하를 파악하기 위해 CPU에서 ONNX 모델로 실행되는 Qwen3-ASR과 Kokoro-TTS의 지연 시간을 테스트했습니다.

  • 테스트에는 Daumee/Qwen3-ASR-0.6B-ONNX-CPU 및 onnx-community/Kokoro-82M-v1.0-ONNX 모델이 사용되었습니다.
  • 지연 시간은 2022년 MacBook M2와 AMD Ryzen 9 7900에서 측정되었으며, 후자는 "엄청나게 빠르다"고 설명되었고 M2는 주로 사용 가능한 상태를 유지했습니다.
  • 이 설정은 5초의 후속 창과 음성 활동 감지(VAD)를 사용하여 매 상호작용마다 웨이크워드를 필요로 하지 않고 정규식 명령을 트리거했습니다.

이 접근 방식은 GPU를 완전히 대용량 언어 모델 실행에 자유롭게 하여 로컬 음성 비서 아키텍처의 새로운 가능성을 열 수 있습니다.