Une équipe déployant deux agents vocaux en production en Espagne, utilisant Retell AI, Ollama et des modèles locaux sur un RTX 4000 Ada, rapporte que si la qualité des conversations s'est améliorée, le problème fondamental de latence reste non résolu. La contrainte principale est un délai d'attente (timeout) d'environ 3 secondes imposé par Retell AI ; si le LLM ne parvient pas à produire un premier jeton dans cette fenêtre, la connexion est interrompue, entraînant la fin de l'appel après deux tentatives de reconnexion.

  • La latence du premier jeton augmente avec la longueur du contexte : pour llama3.1:8b, les temps sont passés de 0,8 à 1,5 s lors des premiers tours à 2,7 à 4,9 s au tour 7+ lorsque le prompt approche de la limite de contexte de 2048 jetons.
  • Les connexions WebSocket concurrentes et l'embedding RAG se disputent le calcul GPU, ajoutant une surcharge de 40 ms qui peut atteindre 300 à 700 ms si le GPU est occupé.
  • Le petit modèle peine avec la sortie structurée, générant des marqueurs de ticket corrects seulement 60 % du temps, souvent en raison d'interruptions de streaming ou d'un contexte halluciné.
  • Les calculs de fenêtre de contexte ne laissent qu'environ 604 jetons pour la génération de réponse avant d'atteindre les limites, provoquant une troncature silencieuse de l'historique de conversation plus ancien dans Ollama.

Les auteurs considèrent ces résultats significatifs car ils soulignent que l'inférence locale sur du matériel grand public ne peut pas encore prendre en charge de manière fiable des agents vocaux en temps réel avec des exigences complexes de RAG et de sortie structurée, sans accepter des taux d'échec élevés ou sans passer à des modèles hébergés.