开发者探索生产环境语音 AI 智能体的编排模式

Hugging Face 论坛的一位开发者希望了解 Bland.ai、Retell 和 Vapi 等生产平台如何在不依赖庞大手写系统提示词的情况下管理提示词编排。作者描述了其当前使用 FastAPI、Sarvam STT/TTS 和 Pipecat SmartTurn V3 的实现，指出手动按状态注入会导致复杂性增加以及边缘情况失败。

• 开发者使用带有按状态注入的基础系统提示词，用于预订或问答等任务。
• 当前架构包括 Sarvam Speech-to-Text、Streaming LLM、Sarvam Text-to-Speech、Pipecat SmartTurn V3 和 Silero VAD。
• 挑战在于在没有单一庞大提示词的情况下处理中断、主题变更和部分信息。
• 目标是建立一个编排层，在保持确定性工作流的同时，允许具有亚秒级延迟的自然对话。

该帖子询问了生产系统中用于平衡模型自主性与确定性业务逻辑的架构模式。