Artikel ini berargumen bahwa routing model dalam sistem agentic adalah masalah optimisasi sistem daripada tugas klasifikasi sederhana, didorong oleh tiga kompleksitas utama: biaya aktual bergantung pada perilaku caching daripada sekadar harga tertera, kesulitan tugas sering kali tidak terlihat saat routing, dan latensi didominasi oleh keadaan infrastruktur.
- Pada Tantangan Uji AppWorld dengan agen CodeAct, Claude Sonnet menelan biaya total $79 sedangkan GPT-4.1 mencapai $155 karena harga baca cache yang lebih rendah dari Sonnet yang diuntungkan oleh rasio hit yang tinggi.
- Router berbasis kesulitan standar mencapai akurasi serupa tetapi dengan biaya lebih tinggi dibandingkan pendekatan berbasis optimisasi yang mengeksplorasi seluruh ruang tradeoff.
- Router ringan para penulis (6 ms dan 2 kB memori per tugas) mencapai konfigurasi dengan akurasi 84%, biaya $93, dan latensi 83 detik, mewakili pengurangan biaya sebesar 21% dan pengurangan latensi sebesar 9% dibandingkan menjalankan Opus saja.
Para penulis menyimpulkan bahwa routing yang efektif menemukan titik operasi terbaik untuk seluruh sistem dengan menyeimbangkan biaya, kualitas, latensi, kepatuhan, dan keandalan secara bersamaan.