يكشف تحليل جديد لمجموعة تصنيف المستندات RVL-CDIP عن مشاكل جودة كبيرة، حيث تم تحديد 12% من أخطاء التسميات وحوالي 35% من التكرار بين بيانات الاختبار والتدريب. يعالج المؤلفون هذه المشاكل من خلال إنتاج نسخ مصححة من المجموعة لتقييم تأثيرها على أداء النماذج.
- تحتوي المجموعة النصية على 12% من أخطاء التسميات وحوالي 35% من التداخل بين الاختبار والتدريب.
- يؤدي إزالة أخطاء التسميات إلى تحسين دقة التصنيف، بينما يؤدي إزالة التكرارات إلى تقليلها.
- يؤدي التدريب على البيانات المصححة من الأخطاء إلى تحسين تعميم النماذج خارج التوزيع بشكل كبير على RVL-CDIP-N.
- حققت النماذج الخاضعة للإشراف تحسناً متوسطه 8.1 نقطة مئوية في الدقة، مع تحسن يصل إلى 14 نقطة مئوية.
أظهرت النتائج أن تصحيح أخطاء التسميات في RVL-CDIP يعزز بشكل كبير قدرة النماذج الخاضعة للإشراف على التعميم على البيانات خارج التوزيع.