Seorang pengembang di forum Hugging Face berusaha memahami bagaimana platform produksi seperti Bland.ai, Retell, dan Vapi mengelola orkestrasi prompt tanpa bergantung pada prompt sistem besar yang ditulis secara manual. Penulis menggambarkan implementasi saat ini menggunakan FastAPI, Sarvam STT/TTS, dan Pipecat SmartTurn V3, mencatat bahwa injeksi keadaan secara manual menyebabkan kompleksitas yang meningkat dan kegagalan pada kasus tepi.
- Pengembang menggunakan prompt sistem dasar dengan injeksi keadaan untuk tugas seperti pemesanan atau Tanya Jawab.
- Arsitektur saat ini mencakup Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3, dan Silero VAD.
- Tantangan termasuk menangani interupsi, perubahan topik, dan informasi parsial tanpa prompt monolitik.
- Tujuannya adalah lapisan orkestrasi yang mempertahankan alur kerja deterministik sambil memungkinkan percakapan alami dengan latensi di bawah satu detik.
Postingan tersebut meminta pola arsitektur yang digunakan dalam sistem produksi untuk menyeimbangkan otonomi model dengan logika bisnis deterministik.