Пользователь протестировал задержку Qwen3-ASR и Kokoro-TTS, работающих в качестве ONNX-моделей на CPU, чтобы определить, какую часть вычислительной нагрузки можно перенести с GPU в конвейере голосового ассистента.
- В тесте использовались модели Daumee/Qwen3-ASR-0.6B-ONNX-CPU и onnx-community/Kokoro-82M-v1.0-ONNX.
- Задержка измерялась на MacBook M2 2022 года и AMD Ryzen 9 7900, причем последний описывается как «молниеносный», в то время как M2 оставался в основном пригодным для использования.
- Настройка использовала окно последующих действий длительностью 5 секунд и обнаружение активности голоса (VAD) для запуска регулярных выражений без необходимости использовать слово пробуждения при каждом взаимодействии.
Этот подход полностью освобождает GPU для работы с большой языковой моделью, потенциально открывая новые возможности для локальных архитектур голосовых ассистентов.