Un desarrollador en los foros de Hugging Face busca entender cómo plataformas de producción como Bland.ai, Retell y Vapi gestionan la orquestación de prompts sin depender de prompts de sistema masivos escritos a mano. El autor describe su implementación actual usando FastAPI, Sarvam STT/TTS y Pipecat SmartTurn V3, señalando que la inyección manual por estado conduce a una complejidad creciente y fallos en casos límite.

  • El desarrollador utiliza un prompt de sistema base con inyección por estado para tareas como reservas o Q&A.
  • La arquitectura actual incluye Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3 y Silero VAD.
  • Los desafíos incluyen manejar interrupciones, cambios de tema e información parcial sin un prompt monolítico.
  • El objetivo es una capa de orquestación que mantenga flujos de trabajo deterministas mientras permite conversaciones naturales con latencia subsegundo.

La publicación solicita patrones arquitectónicos utilizados en sistemas de producción para equilibrar la autonomía del modelo con la lógica empresarial determinista.