Новый анализ датасета классификации документов RVL-CDIP выявил серьезные проблемы с качеством, обнаружив 12% ошибок в метках и около 35% дублирования между тестовыми и учебными данными. Авторы решают эти проблемы, создавая исправленные версии датасета для оценки их влияния на производительность моделей.

  • Корпус содержит 12% ошибок в метках и примерно 35% перекрытия между тестом и обучением.
  • Удаление ошибок в метках повышает точность классификации, тогда как удаление дубликатов снижает ее.
  • Обучение на данных с исправленными ошибками существенно улучшает обобщающую способность вне распределения (out-of-distribution) на RVL-CDIP-N.
  • Обученные с учителем модели получают в среднем прирост точности на 8,1 процентного пункта, с улучшениями до 14 процентных пунктов.

Показано, что исправление ошибок в метках в RVL-CDIP значительно улучшает способность обученных с учителем моделей обобщать данные вне распределения.