RVL-CDIP 문서 분류 데이터셋에 대한 새로운 분석은 심각한 품질 문제를 드러내며, 12%의 레이블 오류와 약 35%의 테스트-훈련 중복을 식별했습니다. 저자들은 이러한 문제를 해결하기 위해 모델 성능에 미치는 영향을 벤치마킹하기 위해 데이터셋의 수정된 변형을 생성했습니다.

  • 코퍼스에는 12%의 레이블 오류와 약 35%의 테스트-훈련 중복이 포함되어 있습니다.
  • 레이블 오류를 제거하면 분류 정확도가 향상되는 반면, 중복을 제거하면 정확도가 감소합니다.
  • 오류가 보정된 데이터로 학습하면 RVL-CDIP-N에서 분포 밖 일반화가 크게 향상됩니다.
  • 지도 학습 모델은 평균 8.1퍼센트 포인트의 정확도 향상을 보였으며, 최대 14퍼센트 포인트까지 개선되었습니다.

RVL-CDIP의 레이블 오류를 수정하는 것이 지도 학습 모델의 분포 밖 데이터에 대한 일반화 능력을 크게 향상시킨다는 것이 입증되었습니다.