media Hugging Face Forums · 2 hari lalu · open_models

MB-Bidram membagikan arsitektur eksperimental WideNDepth yang memisahkan penalaran dari pengetahuan

Diterjemahkan dari English → Bahasa Indonesia

MB-Bidram telah merilis arsitektur neural eksperimental bernama WideNDepth (WND) yang dirancang untuk memisahkan kemampuan penalaran dari penyimpanan pengetahuan. Model ini terdiri dari "bagian lebar" yang berfungsi sebagai memori dan "bagian dalam" yang bertindak sebagai penalar.

WND adalah arsitektur eksperimental di mana bagian-bagian berbeda berfokus pada tugas yang berbeda: lebar untuk memori dan dalam untuk penalaran.
WiND, kerangka kerja PyTorch minimal untuk membangun model WideNDepth, juga dibuka bersama dengan arsitekturnya.
Proyek ini disajikan sebagai pekerjaan yang sedang berlangsung dengan ruang untuk perbaikan, bukan solusi akhir.

Penulis mengundang komunitas untuk mengeksplorasi, bereksperimen, dan berpotensi meningkatkan perpustakaan dan arsitektur.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Research paper Training methods

Baca aslinya

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.

arxiv arXiv cs.AI · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.

arxiv arXiv cs.CL · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.

media Hugging Face Forums · 3 hari lalu · 18 tayangan

Proposal: Transfer pengetahuan progresif dari Qwen 9B ke 27B untuk model tetap 4B

Seorang pengguna di forum Hugging Face mengusulkan eksperimen dalam transfer pengetahuan progresif, di mana model siswa berukuran tetap (Qwen 4B) belajar secara berurutan dari model guru yang semakin besar, bukan langsung dari yang terbesar yang tersedia.

arxiv arXiv cs.LG · 7 hari lalu · 20 tayangan

OpenAI merilis Open-1B dengan pelatihan yang sepenuhnya dapat diaudit

OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.