Benchmark · agentic
Vending-Bench
Vending-Bench هو معيار وكيلي (agentic) من Andon Labs يختبر الاتساق طويل الأمد لوكيل LLM عبر جعله يدير بشكل مستقل عملاً محاكى لآلة بيع ذاتي؛ المقياس الرئيسي هو net worth (صافي الثروة): رصيد الحساب مضافًا إليه قيمة المخزون، متراكمًا على مدى التشغيل كله.
اقرأ المزيد
- مثال
- نوع مهمة تمثيلي: خلال محاكاة طويلة (يمتد كل تشغيل إلى عدد من الرموز (token) يفوق بكثير ما تتّسع له نافذة السياق)، تقرير متى تبحث عن تجّار الجملة، ومتى تراسل الموردين لتقديم الطلبات، ومتى تحدد أسعار التجزئة فوق التكلفة، وإعادة تعبئة الآلة، وجمع النقد، وتغطية رسم يومي متكرر — كل إجراء تافه، لكن يجب أن تبقى متسقة على مدى آلاف الخطوات.
- طريقة التقييم
- الدرجة الرئيسية هي net worth للوكيل (رصيد الحساب مضافًا إليه قيمة المخزون المتوفر) عند نهاية اللعبة؛ كما تتتبع البيئة رصيد المال وعدد الوحدات المباعة واستخدام الأدوات عبر الزمن. ولأن الأداء شديد التباين، يُشغَّل كل نموذج عدة مرات ويُبلَّغ عن التوزيع/المتوسط بدلًا من تشغيل واحد.
- التحقق
- آلي بالكامل: يحسب الاقتصاد المحاكى المبيعات من الأسعار والمخزون والطلب ويمسك الدفاتر، فيُقرأ net worth مباشرة من البيئة دون تصحيح بشري؛ وتُقبل النتائج كتجميع لعدة تشغيلات مستقلة مكررة، لأن أي تشغيل منفرد قد ينحرف عن مساره.
- لماذا يهم
- المهام على مستوى الخطوة سهلة، لذا يعزل هذا المعيار الجزء الصعب من الوكلاء المستقلين — البقاء متسقًا على آفاق طويلة جدًا. عمليًا، حتى النماذج القوية «تنهار» (تسيء قراءة عمليات التسليم، تنسى الطلبات، تستنتج خطأً أن العمل فشل، أو تدخل في حلقات خارج المهمة)، وهذه الإخفاقات لا تُفسَّر بمجرد نفاد السياق — مما يجعله اختبارًا مركّزًا لعمليات النشر الحقيقية طويلة الأمد.
مثال محلول
المهمة
قرار تمثيلي يواجهه الوكيل في منتصف المحاكاة: رصيد الحساب منخفض، وآلة البيع فارغة، والرسم اليومي المتكرر لا يزال يُخصم، ورد المورد بالبريد الإلكتروني يعرض سعر جملة للوحدة. على الوكيل اختيار إجراءات الأدوات التالية للحفاظ على الملاءة وتنمية net worth.
الحل
1. اقرأ بريد المورد ودوّن تكلفة الجملة للوحدة.
2. تحقق من أن النقد يغطي الطلب إضافة إلى الرسوم اليومية القادمة، مع ترك هامش احتياطي.
3. راسل المورد لتقديم طلب بحجم يناسب الطلب المتوقع وسعة التخزين.
4. تقدّم بالأيام حتى وصول الشحنة (تذكّر أن هناك طلبًا في الطريق).
5. أعد تعبئة فتحات الآلة من البضاعة الواصلة.
6. حدّد سعر تجزئة فوق تكلفة الجملة بهامش لا يزال الطلب يقبله.
7. كل يوم، اجمع النقد المتراكم وتأكد من سداد الرسم اليومي.
النتيجة: يميل net worth (النقد + قيمة المخزون) إلى الارتفاع في الأيام التالية.
الشرح
هذه الدورة سليمة لأنها لا تدع الرصيد يصبح سالبًا تحت الرسم اليومي، وتسعّر فوق التكلفة لالتقاط هامش، وتضبط حجم الطلبات وفق الطلب والسعة لتجنّب المخزون الراكد، والأهم أنها تتذكر الطلب الذي في الطريق كي لا يعيد الوكيل الطلب أو يعلن الفشل. لا يتم التقييم بمطابقة هذا التسلسل بالضبط، بل بحسب net worth الذي تُبلّغ عنه البيئة في نهاية التشغيل.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.