Une nouvelle analyse du jeu de données de classification de documents RVL-CDIP révèle des problèmes de qualité significatifs, identifiant 12 % d'erreurs d'étiquette et environ 35 % de duplication entre les ensembles de test et d'entraînement. Les auteurs adressent ces problèmes en produisant des variantes corrigées du jeu de données pour évaluer leur impact sur les performances des modèles.
- Le corpus contient 12 % d'erreurs d'étiquette et environ 35 % de chevauchement test-entraînement.
- La suppression des erreurs d'étiquette améliore la précision de classification, tandis que la suppression des doublons la diminue.
- L'entraînement sur des données corrigées améliore considérablement la généralisation hors distribution sur RVL-CDIP-N.
- Les modèles supervisés gagnent en moyenne 8,1 points de pourcentage de précision, avec des améliorations allant jusqu'à 14 points de pourcentage.
Il est démontré que la correction des erreurs d'étiquette dans RVL-CDIP améliore significativement la capacité des modèles supervisés à généraliser sur des données hors distribution.