Un equipo que ejecuta dos agentes de voz en producción en España utilizando Retell AI, Ollama y modelos locales en una RTX 4000 Ada informa que, aunque la calidad de la conversación mejoró, el problema central de latencia sigue sin resolverse. La restricción principal es un tiempo de espera (~3 segundos) de Retell AI; si el LLM no logra producir un primer token dentro de esta ventana, la conexión se interrumpe, lo que lleva a la terminación de la llamada después de dos reconexiones.

  • La latencia del primer token aumenta con la longitud del contexto: para llama3.1:8b, los tiempos pasaron de 0.8–1.5s en las primeras vueltas a 2.7–4.9s en la vuelta 7+ cuando el prompt se acercaba al límite de contexto de 2048 tokens.
  • Las conexiones WebSocket concurrentes y la incrustación RAG compiten por el cálculo de la GPU, añadiendo 40ms de sobrecarga que pueden dispararse a 300–700ms si la GPU está ocupada.
  • El modelo pequeño tiene dificultades con la salida estructurada, generando marcadores de ticket correctos solo el 60% del tiempo, a menudo debido a interrupciones en el streaming o contexto alucinado.
  • Las matemáticas de la ventana de contexto dejan solo ~604 tokens para la generación de respuesta antes de alcanzar los límites, causando una truncamiento silencioso del historial de conversación más antiguo en Ollama.

Los autores consideran que estos hallazgos son significativos porque destacan que la inferencia local en hardware de grado consumidor aún no puede admitir de manera confiable agentes de voz en tiempo real con requisitos complejos de RAG y salida estructurada sin aceptar altas tasas de fallo o cambiar a modelos alojados.