arxiv Moonshot AI (arXiv) · 609 hari lalu

DeepSeek-R1 mendorong penalaran LLM melalui pembelajaran penguatan

Diterjemahkan dari English → Bahasa Indonesia

DeepSeek telah merilis DeepSeek-R1, sebuah model bahasa besar yang dilatih menggunakan pembelajaran penguatan murni untuk meningkatkan kemampuan penalarannya tanpa bergantung pada demonstrasi yang dianotasi oleh manusia.

Model ini menunjukkan pola penalaran canggih yang muncul, termasuk refleksi diri, verifikasi, dan adaptasi strategi dinamis. Model ini mencapai kinerja superior pada tugas-tugas yang dapat diverifikasi dalam matematika, kompetisi pemrograman, dan bidang STEM dibandingkan dengan model yang dilatih melalui pembelajaran terawasi konvensional. Selain itu, pola penalaran yang dikembangkan oleh model skala besar ini dapat digunakan untuk membimbing dan meningkatkan model-model yang lebih kecil.

Pendekatan ini menunjukkan bahwa pembelajaran penguatan saja dapat secara efektif mendorong perilaku penalaran kompleks dalam LLM, mengurangi ketergantungan pada data berlabel manusia yang luas.

Kepentingan 2/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Baca aslinya

DeepSeek merilis model penalaran R1 melalui pembelajaran penguatan

DeepSeek memperkenalkan model penalaran generasi pertamanya, DeepSeek-R1-Zero dan DeepSeek-R1, yang mencapai kinerja comparable dengan OpenAI-o1-1217 pada tugas penalaran. DeepSeek-R1-Zero dilatih melalui pembelajaran penguatan skala besar tanpa fine-tuning terawasi, sementara DeepSeek-R1 menggunakan pipeline multi-tahap dengan data cold-start untuk meningkatkan keterbacaan.

arxiv Moonshot AI (arXiv) · 635 hari lalu · 24 tayangan

DeepSeek-V3: Model MoE 671B dengan penyeimbangan bebas kerugian tambahan

DeepSeek-AI menghadirkan DeepSeek-V3, model bahasa Mixture-of-Experts yang kuat dengan total 671B parameter dan 37B diaktifkan per token. Model ini mengadopsi arsitektur Multi-head Latent Attention dan DeepSeekMoE untuk mencapai inferensi efisien dan pelatihan yang hemat biaya.

arxiv arXiv cs.LG · 1 hari lalu · 10 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menerapkan RL yang dipandu aturan pada pertanyaan yang berasal dari MedBullets untuk diagnosis, kemudian memanfaatkan 5.3k skenario multi-giliran sintetis dengan rubrik multidimensi untuk tugas klinis interaktif.

arxiv arXiv cs.AI · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan. Kerangka pelatihan pertama-tama menargetkan akurasi diagnostik menggunakan pertanyaan yang berasal dari MedBullets dan kemudian menangani interaksi klinis multi-giliran melalui 5,3k skenario yang dihasilkan dengan rubrik multidimensi.

arxiv arXiv cs.CL · 1 hari lalu · 12 tayangan

Fathom-Vaidya meningkatkan penalaran medis dengan hadiah berbasis rubrik

Para penulis memperkenalkan Fathom-Vaidya, sebuah model dengan 30B parameter yang menggunakan data sintetis dan pembelajaran penguatan berbasis rubrik untuk meningkatkan penalaran diagnostik dan klinis dalam perawatan kesehatan.