Hugging Faceフォーラムの開発者は、大規模な手書きシステムプロンプトに頼らず、Bland.ai、Retell、Vapiといった本番プラットフォームがプロンプトオーケストレーションをどのように管理しているかを理解しようとしています。著者は、FastAPI、Sarvam STT/TTS、Pipecat SmartTurn V3を使用した現在の実装について説明し、手動の状態ごとの注入が複雑さの増大とエッジケースでの失敗につながると指摘しています。

  • 開発者は、予約やQ&Aなどのタスクに対して状態ごとの注入を行う基本システムプロンプトを使用しています。
  • 現在のアーキテクチャには、Sarvam Speech-to-Text、Streaming LLM、Sarvam Text-to-Speech、Pipecat SmartTurn V3、Silero VADが含まれます。
  • 課題としては、モノリシックなプロンプトなしで、割り込み、トピック変更、部分的な情報を扱うことが挙げられます。
  • 目標は、サブ秒のレイテンシーで自然な会話を可能にしながら、決定論的なワークフローを維持するオーケストレーションレイヤーです。

投稿では、モデルの自律性と決定論的なビジネスロジックのバランスを取るために、本番システムで使用されるアーキテクチャパターンについて質問しています。