media Hugging Face Forums · 20 jam lalu · open_models

SplitMoE memperkenalkan routing ahli berbutir halus untuk mengurangi redundansi parameter

Diterjemahkan dari English → Bahasa Indonesia

SplitMoE adalah arsitektur Mixture of Experts alternatif yang memecah lapisan feed-forward lebar menjadi sub-komponen yang lebih kecil dan terspesialisasi untuk meningkatkan fleksibilitas representasi token dan modularitas komputasi.

Mengadopsi granularitas yang lebih halus daripada MoE standar seperti Mixtral, memungkinkan token menyusun representasi bernuansa menggunakan jalur parameter terspesialisasi.
Pendekatan ini memotong dimensi tersembunyi ahli sehingga token hanya mengaktifkan sub-jaringan spesifik yang mereka butuhkan, menghasilkan FLOPs yang lebih rendah per jalur yang diaktifkan.
Berbeda dengan DeepSeekMoE, SplitMoE mengeksplorasi mekanisme pemisahan dan pengelompokan melintasi dimensi intermediate tanpa secara ketat memaksa jalur bersama tetap standar.
Fokus pada strategi partisi yang disederhanakan untuk menjaga routing tetap ringan dan menghindari overhead dispatching yang berat.

Penulis menyediakan implementasi PyTorch modular untuk benchmarking dan mengundang umpan balik tentang stabilitas routing dan perilaku penskalaan.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Training methods

Artikel terkait

arxiv arXiv cs.AI · 22 jam lalu · 11 tayangan

Generator State Dunia menyelaraskan rencana dengan dunia sintetis untuk meningkatkan keberhasilan agen

Generator State Dunia (WSG) adalah model yang menjaga rencana agen bahasa tetap selaras dengan aturan lingkungan eksekusinya dengan menulis ulang keadaan setelah kegagalan. Model ini dilatih pada 226K lintasan yang diekstrak dari tujuh domain sintetis di mana sebuah program menerapkan aturan dan memverifikasi ketercapaian tujuan.

arxiv arXiv cs.LG · 1 hari lalu · 10 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.

media Hugging Face Forums · 1 hari lalu · 7 tayangan

Jen Wei memperbaiki masalah optimizer Muon dan Dion3 di OLMo-core

Jen Wei mengalami spiral kematian learning rate saat menguji AdamW, Muon, dan implementasi terbaru Dion3 di dalam OLMo-core untuk sebuah talk Konferensi PyTorch mendatang.

arxiv arXiv cs.AI · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.

arxiv arXiv cs.CL · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.