Makalah ini memperkenalkan SMetric, sebuah penjadwal yang dirancang untuk mengatasi karakteristik beban kerja unik dari penyajian LLM berbasis agen, di mana permintaan berasal dari agen daripada manusia. Makalah ini mengidentifikasi bahwa penjadwal yang ada terlalu memprioritaskan penggunaan ulang cache KV, menyebabkan ketidakseimbangan beban dan pembatasan token per detik (TPS).
- Agen memerlukan respons lengkap, menjadikan TPS kluster sebagai tujuan utama sambil melonggarkan persyaratan latensi per-token.
- Beban kerja agen menunjukkan penggunaan ulang cache KV yang tinggi, melebihi 80% dari token permintaan dalam jejak produksi dibandingkan dengan 54-62% pada obrolan.
- SMetric merutekan permintaan pertama setiap sesi untuk penyeimbangan beban dan permintaan berikutnya secara sadar cache.
- Penjadwal menggunakan informasi giliran sesi yang berasal dari masukan pengguna, tetap tanpa keadaan dan efisien.
SMetric meningkatkan TPS kluster sebesar 10-16% dalam kolokasi prefill-decode dengan penyimpanan global dan meningkatkan TPS prefill sebesar 2-34% dalam disagregasi dibandingkan dengan penjadwal mutakhir.