media Hugging Face Forums · 1 jam lalu · open_models

Diskusi tentang Parsewave dan kualitas daripada skala dalam data pasca-pelatihan

Diterjemahkan dari English → Bahasa Indonesia

Artikel tersebut membahas hasil yang semakin menurun dari peningkatan volume data pasca-pelatihan seiring dengan perbaikan model, menyarankan pergeseran ke dataset berkualitas lebih tinggi. Ini menyoroti Parsewave, yang menghasilkan data pasca-pelatihan dari masalah rekayasa dunia nyata bersama dengan jejak evaluasi.

Data sintetis dapat menjadi redundan setelah model mempelajari pola, membuat variasi tambahan kurang berguna.
Penulis mendukung sejumlah kecil tugas yang menantang dan realistis dengan ground truth yang jelas dan tinjauan yang tepat.
Mengkalibrasi kesulitan tugas sangat penting untuk menghindari noise atau kurangnya manfaat.
Parsewave membangun dataset-nya dari masalah rekayasa dunia nyata daripada hanya mengandalkan skalabilitas.

Diskusi tersebut mempertanyakan apa yang membuat sampel layak dimasukkan ke dalam dataset SFT/RL/post-pelatihan dan apakah menargetkan mode kegagalan tertentu lebih penting daripada skalabilitas.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Training data Training methods

Baca aslinya

Diskusi tentang penanganan bottleneck data dalam simulasi ML ilmiah

Seorang pengguna membagikan pengalamannya mengenai biaya komputasi dalam menghasilkan dataset pelatihan dari simulasi fisika, seperti aliran fluida dan medan struktural. Mereka menyoroti bahwa tantangan utamanya bukan pada arsitektur model, melainkan kesulitan membangun dataset yang besar dan beragam ketika setiap sampel mahal untuk diproduksi.

arxiv arXiv cs.LG · 38 hari lalu · 26 tayangan

Studi menurunkan rumus empiris untuk memperkirakan ukuran set pelatihan untuk klasifikasi sensor inersia

Para peneliti menyajikan evaluasi empiris sistematis terhadap laju konvergensi kurva pembelajaran untuk mengatasi kurangnya panduan berbasis data dalam menentukan ukuran sampel minimum pada tugas klasifikasi berbasis sensor inersia.

arxiv arXiv cs.AI · 40 hari lalu · 9 tayangan

Studi mengungkap trade-off tumpang tindih-jeda dalam data pelatihan ASR sintetis

Sebuah studi menyelidiki waktu percakapan sebagai variabel yang dapat dikontrol untuk melatih percakaban multi-pembicara sintetis dalam pengenalan suara otomatis (ASR). Para peneliti memparameterisasi distribusi jeda dan tumpang tindih menggunakan keluarga kemiringan eksponensial dan mengeksplorasi ruang berdimensi empat yang dihasilkan melalui sampling hiperkubus Latin dan optimasi Bayesian multi-tujuan.

media r/LocalLLaMA · 41 hari lalu · 18 tayangan

TimeCapsuleLLM: melatih model 500 juta parameter pada teks bahasa Inggris abad ke-19

Seorang pengembang telah menyelesaikan dataset berukuran 160GB yang berisi 40 miliar token yang mencakup data bahasa Inggris dari Inggris dan Amerika Serikat antara tahun 1800 hingga 1875. Penulis melatih model evaluasi 500 juta parameter pada sampel 5 miliar token dari koleksi ini.

lab NVIDIA Technical Blog · 42 hari lalu · 19 tayangan

NVIDIA NeMo memungkinkan generasi data sintetis untuk riset AI keuangan

NVIDIA telah memperkenalkan metode menggunakan framework NeMo-nya untuk menghasilkan data sintetis guna melakukan fine-tuning pada model bahasa besar dalam pemrosesan bahasa alami keuangan. Pendekatan ini mengatasi keterbatasan dataset dunia nyata, yang sering kali terlalu mewakili kejadian umum seperti laporan laba rugi sambil merepresentasikan secara kurang kejadian yang lebih jarang.