개발자가 프로덕션 음성 AI 에이전트를 위한 오케스트레이션 패턴 탐색

Hugging Face 포럼의 한 개발자는 Bland.ai, Retell, Vapi와 같은 프로덕션 플랫폼이 방대한 수동 작성 시스템 프롬프트에 의존하지 않고 프롬프트 오케스트레이션을 어떻게 관리하는지 이해하려고 합니다. 저자는 FastAPI, Sarvam STT/TTS, Pipecat SmartTurn V3를 사용한 현재 구현을 설명하며, 수동 상태별 주입이 복잡성 증가와 엣지 케이스 실패로 이어진다고 지적합니다.

• 개발자는 예약 또는 Q&A와 같은 작업을 위해 상태별 주입이 포함된 기본 시스템 프롬프트를 사용합니다.
• 현재 아키텍처에는 Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3, Silero VAD가 포함됩니다.
• 과제로는 모놀리식 프롬프트 없이 중단, 주제 변경, 부분적 정보를 처리하는 것이 있습니다.
• 목표는 서브초 지연 시간을 허용하면서 자연스러운 대화를 가능하게 하고 결정론적인 워크플로우를 유지하는 오케스트레이션 레이어입니다.

게시물은 모델 자율성과 결정론적 비즈니스 로직 간의 균형을 맞추기 위해 프로덕션 시스템에서 사용되는 아키텍처 패턴을 묻고 있습니다.