RVL-CDIP दस्तावेज़ वर्गीकरण डेटासेट का एक नया विश्लेषण महत्वपूर्ण गुणवत्ता समस्याओं को उजागर करता है, जिसमें 12% लेबल त्रुटियाँ और लगभग 35% परीक्षण-प्रशिक्षण दोहराव की पहचान की गई है। मॉडल प्रदर्शन पर उनके प्रभाव का आकलन करने के लिए लेखकों ने डेटासेट के सुधारे हुए संस्करण तैयार किए हैं।
- कॉर्पस में 12% लेबल त्रुटि और लगभग 35% परीक्षण-प्रशिक्षण ओवरलैप है।
- लेबल त्रुटियों को हटाने से वर्गीकरण सटीकता में सुधार होता है, जबकि दोहराव को हटाने से वह कम हो जाती है।
- त्रुटि-सुधारे गए डेटा पर प्रशिक्षण RVL-CDIP-N पर आउट-ऑफ-डिस्ट्रीब्यूशन (out-of-distribution) सामान्यीकरण को काफी बेहतर बनाता है।
- सुपरवाइज्ड मॉडलों में सटीकता में औसतन 8.1 प्रतिशत अंक की वृद्धि होती है, जिसमें 14 प्रतिशत अंक तक का सुधार शामिल है।
RVL-CDIP में लेबल त्रुटियों को ठीक करने से सुपरवाइज्ड मॉडलों की आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर सामान्यीकरण करने की क्षमता में महत्वपूर्ण सुधार दिखाई देता है।