Разработчик на форумах Hugging Face стремится понять, как платформы уровня продакшена, такие как Bland.ai, Retell и Vapi, управляют оркестрацией промптов, не полагаясь на огромные ручные системные промпты. Автор описывает свою текущую реализацию с использованием FastAPI, Sarvam STT/TTS и Pipecat SmartTurn V3, отмечая, что ручное внедрение состояний приводит к растущей сложности и сбоям в граничных случаях.

  • Разработчик использует базовый системный промпт с внедрением по состояниям для таких задач, как бронирование или Q&A.
  • Текущая архитектура включает Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3 и Silero VAD.
  • Проблемы включают обработку прерываний, смену темы и частичной информации без монолитного промпта.
  • Цель — слой оркестрации, который поддерживает детерминированные рабочие процессы, позволяя при этом вести естественный разговор с задержкой менее секунды.

В посте запрашиваются архитектурные паттерны, используемые в продакшен-системах для баланса автономности модели и детерминированной бизнес-логики.