media Hugging Face Forums · 7 jam lalu · open_models

Tutorial: Bangun dan Latih Tokenizer BPE Tingkat Byte dari Awal

Diterjemahkan dari English → Bahasa Indonesia

Sebuah tutorial baru mendokumentasikan proses langkah demi langkah untuk membangun dan melatih tokenizer BPE tingkat byte dari prinsip pertama. Panduan ini mencakup detail implementasi kunci seperti pre-tokenisasi yang sadar Unicode, pembaruan frekuensi pasangan secara inkremental, dan penggunaan max heap dengan penghapusan malas.

Pelatihan dimulai dari 256 token byte mentah dan mempelajari penggabungan pada teks multibahasa.
Indeks terbalik pasangan-ke-pretoken diimplementasikan untuk mengoptimalkan proses pelatihan.
Model dilatih pada 100 MiB data mC4 di delapan bahasa.
Hasilnya adalah kosakata berukuran 8.192 token dengan 7.936 penggabungan yang dipelajari.
Pelatihan memakan waktu sekitar satu jam pada M2 Pro 12 inti dengan memori 32 GB.

Penulis menyediakan kode sumber lengkap dan penjelasan melalui repositori GitHub serta menyertakan demo langsung agar pengguna dapat berinteraksi dengan tokenizer kustom.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Training data Training methods

Baca aslinya

Diskusi tentang Parsewave dan kualitas daripada skala dalam data pasca-pelatihan

Artikel tersebut membahas hasil yang semakin menurun dari peningkatan volume data pasca-pelatihan seiring dengan perbaikan model, menyarankan pergeseran ke dataset berkualitas lebih tinggi. Ini menyoroti Parsewave, yang menghasilkan data pasca-pelatihan dari masalah rekayasa dunia nyata bersama dengan jejak evaluasi.

media Hugging Face Forums · 46 hari lalu · 7 tayangan

Diskusi tentang penanganan bottleneck data dalam simulasi ML ilmiah

Seorang pengguna membagikan pengalamannya mengenai biaya komputasi dalam menghasilkan dataset pelatihan dari simulasi fisika, seperti aliran fluida dan medan struktural. Mereka menyoroti bahwa tantangan utamanya bukan pada arsitektur model, melainkan kesulitan membangun dataset yang besar dan beragam ketika setiap sampel mahal untuk diproduksi.

arxiv arXiv cs.LG · 49 hari lalu · 5 tayangan

Studi menurunkan rumus empiris untuk memperkirakan ukuran set pelatihan untuk klasifikasi sensor inersia

Para peneliti menyajikan evaluasi empiris sistematis terhadap laju konvergensi kurva pembelajaran untuk mengatasi kurangnya panduan berbasis data dalam menentukan ukuran sampel minimum pada tugas klasifikasi berbasis sensor inersia.

arxiv arXiv cs.AI · 51 hari lalu · 7 tayangan

Studi mengungkap trade-off tumpang tindih-jeda dalam data pelatihan ASR sintetis

Sebuah studi menyelidiki waktu percakapan sebagai variabel yang dapat dikontrol untuk melatih percakaban multi-pembicara sintetis dalam pengenalan suara otomatis (ASR). Para peneliti memparameterisasi distribusi jeda dan tumpang tindih menggunakan keluarga kemiringan eksponensial dan mengeksplorasi ruang berdimensi empat yang dihasilkan melalui sampling hiperkubus Latin dan optimasi Bayesian multi-tujuan.

media r/LocalLLaMA · 52 hari lalu · 3 tayangan

TimeCapsuleLLM: melatih model 500 juta parameter pada teks bahasa Inggris abad ke-19

Seorang pengembang telah menyelesaikan dataset berukuran 160GB yang berisi 40 miliar token yang mencakup data bahasa Inggris dari Inggris dan Amerika Serikat antara tahun 1800 hingga 1875. Penulis melatih model evaluasi 500 juta parameter pada sampel 5 miliar token dari koleksi ini.