media Hugging Face Forums · 3 hari lalu · open_models

Proposal: Transfer pengetahuan progresif dari Qwen 9B ke 27B untuk model tetap 4B

Diterjemahkan dari English → Bahasa Indonesia

Seorang pengguna di forum Hugging Face mengusulkan eksperimen dalam transfer pengetahuan progresif, di mana model siswa berukuran tetap (Qwen 4B) belajar secara berurutan dari model guru yang semakin besar, bukan langsung dari yang terbesar yang tersedia.

Proses ini melibatkan model 4B belajar dari Qwen 8B atau 9B, lalu membuang guru tersebut untuk belajar dari Qwen 12B, dan selanjutnya dari Qwen 27B.
Pendekatan ini meniru pembelajaran manusia dengan membangun pada pengetahuan yang sebelumnya diperoleh alih-alih mencoba menjembatani kesenjangan kemampuan besar dalam satu langkah.
Proposal ini menyarankan penggunaan metode mirip proyek Heretic, menerapkan strategi "cari dan perkuat" untuk mengidentifikasi dan menambahkan kemampuan yang berguna sambil menghindari penemuan kembali sifat-sifat yang sudah dipelajari.
Keberhasilan akan diukur apakah model berukuran tetap meningkat secara terukur dan mempertahankan peningkatan sebelumnya, memberikan wawasan tentang kapasitas pengetahuan praktis model kecil.

Penulis menyarankan bahwa metode ini dapat menentukan apakah akumulasi pengetahuan bertahap lebih efektif daripada distilasi langsung dari guru terbesar untuk model kecil.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Training methods

Artikel terkait

arxiv arXiv cs.LG · 1 hari lalu · 10 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.

arxiv arXiv cs.AI · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.

arxiv arXiv cs.CL · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.

media Hugging Face Forums · 2 hari lalu · 18 tayangan

MB-Bidram membagikan arsitektur eksperimental WideNDepth yang memisahkan penalaran dari pengetahuan

MB-Bidram telah merilis arsitektur neural eksperimental bernama WideNDepth (WND) yang dirancang untuk memisahkan kemampuan penalaran dari penyimpanan pengetahuan. Model ini terdiri dari "bagian lebar" yang berfungsi sebagai memori dan "bagian dalam" yang bertindak sebagai penalar.

arxiv arXiv cs.LG · 7 hari lalu · 20 tayangan

OpenAI merilis Open-1B dengan pelatihan yang sepenuhnya dapat diaudit

OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.