يقترح المؤلف فرضية مفادها أن مسارات الوكلاء الذين يستخدمون الأدوات ولكن فشلوا، مثل اختيار أدوات خاطئة أو حجوزات مشوهة، يمكن أن تكون بيانات قيمة لضبط دقيق لتدريب النماذج على الابتعاد عن هذه الأخطاء. يسعى المنشور للحصول على ملاحظات المجتمع حول ما إذا كان التدريب على مسارات الفشل المصححة فعالاً أم ضاراً.
- يتساءل المؤلف عما إذا كانت مسارات الفشل "المصححة" ذات جودة أقل لأن التصحيح مُستنتج وليس مُتحققاً منه.
- تمثل التحدي الرئيسي في تحديد أي من حالات الفشل يمكن اشتقاق تصحيحاتها من المسار نفسه مقابل تلك التي تتطلب حقيقة أرضية خارجية.
- بنى المؤلف أداة سطر أوامر تسمى trace2train لاختبار ذلك عن طريق كشف حالات الفشل وإخراج ملفات JSONL الخاصة بـ LLaMA-Factory لضبط السلسلة الكاملة (SFT) والتفضيل المباشر (DPO).
- تتجاوز الأداة توليد أزواج التدريب عندما لا يمكن اشتقاق التصحيح من المسار لتجنب إنشاء تسميات خاطئة بثقة.
يهدف المنشور إلى تحديد ما إذا كان استخدام مسارات الوكلاء الفاشلة للضبط الدقيق استراتيجية قابلة للتطبيق أم فكرة سيئة معروفة.