Uma nova análise do conjunto de dados de classificação de documentos RVL-CDIP revela problemas significativos de qualidade, identificando 12% de erros nos rótulos e aproximadamente 35% de duplicação entre teste e treinamento. Os autores abordam esses problemas produzindo variações corrigidas do conjunto de dados para avaliar seu impacto no desempenho do modelo.
- O corpus contém 12% de erro nos rótulos e cerca de 35% de sobreposição entre teste e treinamento.
- Remover erros nos rótulos melhora a precisão da classificação, enquanto remover duplicatas a diminui.
- Treinar com dados corrigidos melhora substancialmente a generalização fora de distribuição (out-of-distribution) no RVL-CDIP-N.
- Modelos supervisionados ganham uma média de 8,1 pontos percentuais em precisão, com melhorias de até 14 pontos percentuais.
Mostra-se que corrigir erros nos rótulos do RVL-CDIP melhora significativamente a capacidade dos modelos supervisionados de generalizar para dados fora de distribuição.