helloadhavan lance CC-FilteredCorpus pour extraire du Markdown structuré de Common Crawl
L'utilisateur helloadhavan a créé un ensemble de données appelé CC-FilteredCorpus conçu pour filtrer Common Crawl et extraire du contenu sous forme de Markdown propre. Le projet vise à préserver la structure utile du document, y compris les en-têtes, les listes, les liens, les blocs de code et les tableaux, plutôt que de tout aplatir en texte brut.