Un développeur sur les forums Hugging Face cherche à comprendre comment des plateformes de production comme Bland.ai, Retell et Vapi gèrent l'orchestration des prompts sans dépendre de systèmes de prompts système massifs et écrits à la main. L'auteur décrit son implémentation actuelle utilisant FastAPI, Sarvam STT/TTS et Pipecat SmartTurn V3, notant que l'injection manuelle état par état entraîne une complexité croissante et des échecs sur des cas limites.

  • Le développeur utilise un prompt système de base avec injection état par état pour des tâches comme la réservation ou les Q&R.
  • L'architecture actuelle inclut Sarvam Speech-to-Text, Streaming LLM, Sarvam Text-to-Speech, Pipecat SmartTurn V3 et Silero VAD.
  • Les défis incluent la gestion des interruptions, des changements de sujet et des informations partielles sans un prompt monolithique.
  • L'objectif est une couche d'orchestration qui maintient des flux de travail déterministes tout en permettant des conversations naturelles avec une latence sous la seconde.

Le post demande quels modèles architecturaux sont utilisés dans les systèmes de production pour équilibrer l'autonomie du modèle et la logique métier déterministe.