media Hugging Face Forums · 1 jam lalu · open_models

helloadhavan merilis CC-FilteredCorpus untuk mengekstrak Markdown terstruktur dari Common Crawl

Diterjemahkan dari English → Bahasa Indonesia

Pengguna helloadhavan telah membuat kumpulan data bernama CC-FilteredCorpus yang dirancang untuk memfilter Common Crawl dan mengekstrak konten sebagai Markdown bersih. Proyek ini bertujuan untuk melestarikan struktur dokumen yang berguna, termasuk judul, daftar, tautan, blok kode, dan tabel, alih-alih meratakan semuanya menjadi teks biasa.

Kumpulan data ini di-hosting di Hugging Face di helloadhavan/CC-FilteredCorpus.
Ini menargetkan pra-pelatihan LLM dan penelitian NLP di mana melestarikan struktur dokumen web sangat penting.

Sumber daya ini menyediakan alternatif terstruktur untuk data mentah Common Crawl bagi peneliti yang membutuhkan teks terformat.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Training data

Baca aslinya

Calibra mendeteksi masalah dalam dataset pembelajaran robot

Penulis memperkenalkan Calibra, sebuah toolkit open-source yang dirancang untuk menganalisis dan memastikan integritas dataset pembelajaran robot. Alat ini bertujuan mencegah pemborosan komputasi dengan mengidentifikasi data bermasalah sebelum pelatihan dimulai.

media Hugging Face Forums · 12 hari lalu · 8 tayangan

OpenGauntlet menerbitkan katalog 168 sistem TTS dan 106 sistem STT

Seorang peneliti telah menerbitkan katalog penelitian OpenGauntlet, sebuah sumber daya publik yang berisi informasi tentang 168 sistem teks-ke-suara (TTS) dan 106 sistem suara-ke-teks (STT). Direktori mencakup model open source dan terhosting, lisensi, persyaratan perangkat keras, bahasa, kemampuan, status siklus hidup, informasi sumber, dan data benchmark yang dipublikasikan jika tersedia.

media Hugging Face Forums · 13 hari lalu · 12 tayangan

Matriks kepatuhan bulanan mengungkapkan bahwa 65% dari 4.893 dataset bahasa India tidak memiliki tag lisensi

Sebuah matriks kepatuhan yang diperbarui secara bulanan telah diterbitkan untuk semua 4.893 dataset bahasa India di Hugging Face Hub, mengungkapkan bahwa 65,1% tidak mendeklarasikan tag lisensi per 1 Agustus 2026.

media Hugging Face Forums · 13 hari lalu · 4 tayangan

Calibra v0.7.1 menambahkan pemeriksaan integritas dataset untuk pembelajaran robot

Calibra v0.7.1 memperkenalkan tahap Integritas Dataset baru yang berjalan sebelum analisis kualitas dan cakupan untuk membantu pengguna memverifikasi apakah dataset robotika mereka dapat dipercaya.

media Hugging Face Forums · 17 hari lalu · 3 tayangan

Calibra: toolkit open-source untuk observabilitas dataset robot

Calibra adalah toolkit open-source yang dirancang untuk membantu peneliti melakukan audit pada dataset robot dan mengidentifikasi masalah kualitas sebelum melatih kebijakan. Rilis publik pertama mencakup Ruang interaktif Robot Dataset Health Check untuk mengaudit dataset LeRobot dan benchmark dari 30 dataset LeRobot publik dengan skor kesehatan.