arxiv Moonshot AI (arXiv) · 635 hari lalu

DeepSeek-V3: Model MoE 671B dengan penyeimbangan bebas kerugian tambahan

Diterjemahkan dari English → Bahasa Indonesia

DeepSeek-AI menghadirkan DeepSeek-V3, model bahasa Mixture-of-Experts yang kuat dengan total 671B parameter dan 37B diaktifkan per token. Model ini mengadopsi arsitektur Multi-head Latent Attention dan DeepSeekMoE untuk mencapai inferensi efisien dan pelatihan yang hemat biaya.

DeepSeek-V3 menjadi pelopor strategi bebas kerugian tambahan untuk penyeimbangan beban guna meminimalkan degradasi kinerja.
Model ini menggunakan tujuan pelatihan prediksi multi-token untuk meningkatkan kinerja benchmark secara keseluruhan.
Tim ini memvalidasi pelatihan presisi campuran FP8 pada model berskala sangat besar untuk pertama kalinya.
Pelatihan memanfaatkan 14,8 triliun token dan hanya membutuhkan 2,788 juta jam GPU H800, dengan total sekitar $5,576 juta.
Evaluasi menunjukkan bahwa model ini mengungguli model sumber terbuka lainnya dan menyamai model sumber tertutup terkemuka seperti GPT-4o dan Claude-3.5-Sonnet.

Laporan tersebut menekankan bahwa DeepSeek-V3 mencapai kinerja yang kuat, sebanding dengan model sumber tertutup tingkat atas, sambil mempertahankan biaya pelatihan dan stabilitas yang sangat rendah.

Kepentingan 3/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Artikel terkait

arxiv Moonshot AI (arXiv) · 609 hari lalu · 16 tayangan

DeepSeek-R1 mendorong penalaran LLM melalui pembelajaran penguatan

DeepSeek telah merilis DeepSeek-R1, sebuah model bahasa besar yang dilatih menggunakan pembelajaran penguatan murni untuk meningkatkan kemampuan penalarannya tanpa bergantung pada demonstrasi yang dianotasi oleh manusia.

arxiv Moonshot AI (arXiv) · 609 hari lalu · 32 tayangan

DeepSeek merilis model penalaran R1 melalui pembelajaran penguatan

DeepSeek memperkenalkan model penalaran generasi pertamanya, DeepSeek-R1-Zero dan DeepSeek-R1, yang mencapai kinerja comparable dengan OpenAI-o1-1217 pada tugas penalaran. DeepSeek-R1-Zero dilatih melalui pembelajaran penguatan skala besar tanpa fine-tuning terawasi, sementara DeepSeek-R1 menggunakan pipeline multi-tahap dengan data cold-start untuk meningkatkan keterbacaan.

arxiv arXiv cs.LG · 1 hari lalu · 10 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.

arxiv arXiv cs.AI · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.

arxiv arXiv cs.CL · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.