تقدم الورقة البحثية SMetric، وهو مجدول مصمم لمعالجة خصائص عبء العمل الفريدة لتقديم نماذج اللغات الكبيرة (LLM) بواسطة الوكلاء، حيث تأتي الطلبات من وكلاء بدلاً من البشر. وتحدد أن الجداول الحالية تعطي أولوية مفرطة لإعادة استخدام ذاكرة التخزين المؤقت KV، مما يؤدي إلى عدم توازن الحمل وحدود في عدد الرموز لكل ثانية (TPS).
- تتطلب الوكلاء استجابات كاملة، مما يجعل TPS المجموعة هو الهدف الرئيسي مع تخفيف متطلبات زمن الاستجابة للرمز الواحد.
- تظهر أعباء عمل الوكلاء إعادة استخدام عالية لـ KV cache، متجاوزة 80% من رموز الطلب في مسارات الإنتاج مقارنة بـ 54-62% في الدردشة.
- تقوم SMetric بتوجيه أول طلب لكل جلسة لتوازن الحمل والطلبات اللاحقة بطريقة واعية للذاكرة المؤقتة.
- يستخدم المجدول معلومات دور الجلسة المستمدة من مدخلات المستخدم، ويبقى بلا حالة وفعالاً.
تحسّن SMetric TPS المجموعة بنسبة 10-16% في وضع التكامل بين prefill-decode مع متجر عالمي وزادت TPS prefill بنسبة 2-34% في الوضع المنفصل مقارنة بأحدث الجداول.