Sebuah tim yang menjalankan dua agen suara produksi di Spanyol menggunakan Retell AI, Ollama, dan model lokal pada RTX 4000 Ada melaporkan bahwa meskipun kualitas percakapan membaik, masalah latensi inti tetap belum terpecahkan. Kendala utamanya adalah batas waktu (timeout) sekitar 3 detik dari Retell AI; jika LLM gagal menghasilkan token pertama dalam jendela ini, koneksi akan terputus, menyebabkan panggilan berakhir setelah dua kali reconnect.

  • Latensi token pertama meningkat seiring panjang konteks: untuk llama3.1:8b, waktu naik dari 0,8–1,5s pada putaran awal menjadi 2,7–4,9s pada putaran ke-7+ saat prompt mendekati batas konteks 2048-token.
  • Koneksi WebSocket konkuren dan embedding RAG bersaing untuk komputasi GPU, menambah overhead 40ms yang dapat melonjak hingga 300–700ms jika GPU sedang sibuk.
  • Model kecil kesulitan dengan output terstruktur, menghasilkan penanda tiket yang benar hanya 60% dari waktu, sering kali karena gangguan streaming atau konteks yang dihallusinasi.
  • Matematika jendela konteks menyisakan hanya sekitar ~604 token untuk generasi respons sebelum mencapai batas, menyebabkan pemotongan diam-diam pada riwayat percakapan lama di Ollama.

Para penulis menganggap temuan ini signifikan karena menyoroti bahwa inferensi lokal pada perangkat keras kelas konsumen belum dapat secara andal mendukung agen suara real-time dengan persyaratan RAG dan output terstruktur yang kompleks tanpa harus menerima tingkat kegagalan tinggi atau beralih ke model yang di-host.