Seorang pengembang AI meminta saran arsitektural untuk membangun sistem AI suara real-time yang mencapai latensi token pertama sekitar 500 ms atau kurang, sambil tetap hemat biaya dan dapat diskalakan.
Permintaan ini mencakup pilihan komponen di seluruh pipeline, termasuk protokol transportasi audio seperti WebRTC, Deteksi Aktivitas Suara (Voice Activity Detection), penyedia Speech-to-Text seperti Deepgram dan AssemblyAI, LLM seperti Gemini Live dan OpenAI Realtime, layanan Text-to-Speech, serta kerangka kerja orkestrasi. Pengembang secara khusus meminta wawasan tingkat produksi mengenai komponen mana yang paling banyak berkontribusi terhadap latensi, apakah model speech-to-speech lebih unggul daripada pipeline STT-LLM-TTS tradisional, dan penyedia mana yang menawarkan keseimbangan terbaik antara latensi, kualitas, dan biaya.
Penulis meminta angka dunia nyata, benchmark, dan pelajaran dari implementasi produksi untuk membantu mengidentifikasi kesalahan arsitektur umum yang meningkatkan latensi.