قام المستخدم helloadhavan بإنشاء مجموعة بيانات تسمى CC-FilteredCorpus مصممة لتصفية Common Crawl واستخراج المحتوى كـ Markdown نظيف. تهدف المشروع إلى الحفاظ على هيكل المستند المفيد، بما في ذلك العناوين والقوائم والروابط وكتل التعليمات البرمجية والجداول، بدلاً من تسطيح كل شيء إلى نص عادي.

  • مجموعة البيانات مستضافة على Hugging Face عند helloadhavan/CC-FilteredCorpus.
  • تستهدف التدريب المسبق للـ LLM والبحث في مجال NLP حيث يكون الحفاظ على هيكل المستند عبر الويب أمرًا مهمًا.

يوفر هذا المورد بديلاً مهيكلياً لبيانات Common Crawl الخام للباحثين الذين يحتاجون إلى نص منسق.