对RVL-CDIP文档分类数据集的新分析揭示了严重的质量问题，识别出12%的标签错误以及约35%的测试-训练重复。作者通过生成该数据集的修正版本来解决这些问题，以评估其对模型性能的影响。

  • 语料库包含12%的标签错误和大约35%的测试-训练重叠。
  • 去除标签错误可提高分类准确率，而去除重复数据则会降低准确率。
  • 在纠错后的数据上进行训练可显著提高在RVL-CDIP-N上的分布外（out-of-distribution）泛化能力。
  • 监督模型的平均准确率提高了8.1个百分点，最高提升达14个百分点。

研究表明，修复RVL-CDIP中的标签错误能显著增强监督模型对分布外数据的泛化能力。