طوّر المؤلف أداة metrictrust، وهي أداة بايثون خفيفة الوزن تراقب عمليات التدريب لتحديد ما إذا كان ينبغي الوثوق بمقاييس التحقق النهائية. وتعالج مشكلات شائعة مثل الاحتفاظ بنقاط التفتيش دون المثلى، والمبالغة في تقدير الأداء بسبب الحفظ عن ظهر قلب، والاعتماد على نتائج متذبذبة ذات ضوضاء عالية.
- تقدّم حكماً بلغة واضحة وهو «موثوق» أو «حذر» أو «غير موثوق» استناداً إلى ديناميكيات التدريب.
- يكتشف عندما حدثت أفضل قيمة للمقياس في منتصف التدريب لكنها لم تُحفظ كنقطة تفتيش نهائية.
- يحدّد الحالات التي يتجاوز فيها دقة التدريب دقة التقييم بشكل ملحوظ، ما يشير إلى الحفظ عن ظهر قلب.
- يُعلِن عن العمليات ذات التذبذب العالي لتنبيه المستخدمين من اعتبار عينة ضوضائية واحدة قياساً موثوقاً.
- يعمل مع HuggingFace Trainer عبر TrustCheckCallback أو أي حلقة مخصصة عبر TrustMonitor.
تساعد الأداة المستخدمين على تجنب استنتاجات خاطئة من أرقام السجلات النهائية من خلال تسليط الضوء على فوات ذروة أداء النموذج، أو عندما تكون البيانات غير مستقرة بما يكفي لتكون ذات معنى.