helloadhavan merilis CC-FilteredCorpus untuk mengekstrak Markdown terstruktur dari Common Crawl
Pengguna helloadhavan telah membuat kumpulan data bernama CC-FilteredCorpus yang dirancang untuk memfilter Common Crawl dan mengekstrak konten sebagai Markdown bersih. Proyek ini bertujuan untuk melestarikan struktur dokumen yang berguna, termasuk judul, daftar, tautan, blok kode, dan tabel, alih-alih meratakan semuanya menjadi teks biasa.