Um desenvolvedor nos fóruns do Hugging Face busca entender como plataformas de produção como Bland.ai, Retell e Vapi gerenciam a orquestração de prompts sem depender de prompts de sistema massivos escritos à mão. O autor descreve sua implementação atual usando FastAPI, Sarvam STT/TTS e Pipecat SmartTurn V3, observando que a injeção manual por estado leva a uma complexidade crescente e falhas em casos limite.

  • O desenvolvedor usa um prompt de sistema base com injeção por estado para tarefas como agendamento ou Q&A.
  • A arquitetura atual inclui Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3 e Silero VAD.
  • Os desafios incluem lidar com interrupções, mudanças de tópico e informações parciais sem um prompt monolítico.
  • O objetivo é uma camada de orquestração que mantenha fluxos de trabalho determinísticos enquanto permite conversas naturais com latência subsegundo.

A postagem pede padrões arquiteturais usados em sistemas de produção para equilibrar a autonomia do modelo com a lógica de negócios determinística.