helloadhavan, Common Crawl에서 구조화된 Markdown 추출을 위한 CC-FilteredCorpus 출시
사용자 helloadhavan은 Common Crawl을 필터링하고 콘텐츠를 깔끔한 Markdown으로 추출하도록 설계된 CC-FilteredCorpus라는 데이터셋을 만들었습니다. 이 프로젝트는 모든 것을 평평한 텍스트로 만드는 대신 제목, 목록, 링크, 코드 블록 및 테이블을 포함한 유용한 문서 구조를 보존하는 것을 목표로 합니다.