스페인에서 Retell AI, Ollama 및 RTX 4000 Ada의 로컬 모델을 사용하여 두 개의 프로덕션 음성 에이전트를 운영하는 팀은 대화 품질이 향상되었지만 핵심 지연 시간 문제가 해결되지 않았다고 보고합니다. 주요 제약 조건은 Retell AI의 약 3초 타임아웃입니다. LLM이 이 시간 내에 첫 번째 토큰을 생성하지 못하면 연결이 끊어지며, 두 번의 재연결 후 통화가 종료됩니다.

  • 컨텍스트 길이가 증가함에 따라 첫 번째 토큰 지연 시간이 늘어납니다: llama3.1:8b의 경우, 초기 턴에서는 0.8–1.5초였으나 프롬프트가 2048토큰 컨텍스트 제한에 가까워짐에 따라 7턴 이후에는 2.7–4.9초로 증가했습니다.
  • 동시 WebSocket 연결과 RAG 임베딩이 GPU 연산을 경쟁하여 40ms의 오버헤드를 추가하며, GPU가 바쁠 경우 이는 300–700ms까지 치솟을 수 있습니다.
  • 작은 모델은 구조화된 출력을 처리하는 데 어려움을 겪으며, 스트리밍 중단이나 환각된 컨텍스트로 인해 올바른 티켓 마커를 생성할 확률은 60%에 불과합니다.
  • 컨텍스트 윈도우 계산에 따르면 응답 생성을 위해 약 604토큰만 남게 되며, 이는 Ollama에서 이전 대화 기록의 침묵적인 잘림(truncation)을 유발합니다.

저자들은 이러한 발견이 소비자용 하드웨어에서의 로컬 추론이 높은 실패율을 수용하거나 호스팅 모델로 전환하지 않는 한 복잡한 RAG 및 구조화된 출력 요구사항을 갖춘 실시간 음성 에이전트를 아직 신뢰성 있게 지원하지 못한다는 점을 강조하므로 중요하다고 간주합니다.