Analisis baru terhadap dataset klasifikasi dokumen RVL-CDIP mengungkap masalah kualitas yang signifikan, dengan identifikasi 12% kesalahan label dan sekitar 35% duplikasi uji-latih. Para penulis mengatasi masalah ini dengan menghasilkan variasi yang telah dikoreksi dari dataset tersebut untuk membandingkan dampaknya pada kinerja model.
- Korpus berisi 12% kesalahan label dan sekitar 35% tumpang tindih uji-latih.
- Menghapus kesalahan label meningkatkan akurasi klasifikasi, sementara menghapus duplikat menurunkannya.
- Melatih pada data yang telah dikoreksi kesalahan secara substansial meningkatkan generalisasi di luar distribusi pada RVL-CDIP-N.
- Model terawasi mendapatkan peningkatan rata-rata 8,1 poin persentase dalam akurasi, dengan perbaikan hingga 14 poin persentase.
Memperbaiki kesalahan label dalam RVL-CDIP terbukti secara signifikan meningkatkan kemampuan model terawasi untuk menggeneralisasi ke data di luar distribusi.