arxiv Moonshot AI (arXiv) · 755 hari lalu

Tim Qwen merilis seri Qwen2 dengan model padat dan MoE 72B

Diterjemahkan dari English → Bahasa Indonesia

Tim Qwen telah menerbitkan laporan teknis Qwen2, memperkenalkan seri baru model bahasa besar yang berkisar dari 0,5 hingga 72 miliar parameter, termasuk arsitektur padat dan Mixture-of-Experts (MoE).

Model dasar andalan Qwen2-72B mencapai skor 84,2 di MMLU, 89,5 di GSM8K, dan 64,6 di HumanEval.
Varian Qwen2-72B-Instruct yang telah disesuaikan dengan instruksi mencapai 9,1 di MT-Bench dan 35,7 di LiveCodeBench.
Model dilatih pada lebih dari 7 triliun token dan mendukung sekitar 30 bahasa.
Bobot tersedia secara terbuka di Hugging Face dan ModelScope untuk penggunaan komunitas.

Rilis ini bertujuan untuk menyediakan model dasar berkinerja tinggi yang bersaing dengan sistem tertutup, sambil tetap dapat diakses untuk penelitian dan penyebaran.

Kepentingan 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Benchmark

Benchmark	Model	Skor
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

Baca aslinya

Qwen3 memperkenalkan mode berpikir terpadu dan memperluas dukungan multibahasa ke 119 bahasa

Laporan Teknis Qwen3 menyajikan versi terbaru dari keluarga model Qwen, dengan arsitektur padat dan Mixture-of-Expert (MoE) serta skala parameter dari 0,6 hingga 235 miliar. Inovasi utamanya adalah integrasi mode berpikir untuk penalaran kompleks dan mode tanpa berpikir untuk respons cepat ke dalam satu kerangka kerja terpadu, sehingga menghilangkan kebutuhan untuk beralih antar model yang berbeda.

arxiv Moonshot AI (arXiv) · 452 hari lalu · 2 tayangan

Qwen3 memperkenalkan mode berpikir terpadu dan dukungan 119 bahasa

Laporan Teknis Qwen3 memperkenalkan seri baru model bahasa besar dengan bobot terbuka, mulai dari 0,6 hingga 235 miliar parameter, yang mencakup arsitektur dense dan Mixture-of-Experts. Inovasi utamanya adalah integrasi "mode berpikir" untuk penalaran kompleks dan "mode tanpa berpikir" untuk respons cepat ke dalam satu kerangka kerja, memungkinkan pengalihan dinamis tanpa pergantian model.

arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperkenalkan model dense dan MoE dengan 18T token pra-pelatihan

Laporan Teknis Qwen2.5 merinci rilis serangkaian lengkap model bahasa besar yang mencakup varian dense berbobot terbuka dan model mixture-of-experts (MoE) tertutup. Pembaruan ini secara signifikan meningkatkan data pra-pelatihan dari 7 triliun menjadi 18 triliun token dan menggunakan lebih dari 1 juta sampel untuk pasca-pelatihan melalui penyetelan halus terawasi dan pembelajaran penguatan.

arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperluas pra-pelatihan hingga 18 triliun token dan menggunakan RL bertahap

Alibaba telah merilis laporan teknis Qwen2.5, memperkenalkan seri komprehensif model bahasa besar dengan peningkatan signifikan pada tahap pra-pelatihan dan pasca-pelatihan. Pembaruan ini memperluas dataset pra-pelatihan berkualitas tinggi dari 7 triliun menjadi 18 triliun token dan menerapkan penyetelan halus terawasi yang rumit dengan lebih dari 1 juta sampel serta pembelajaran penguatan bertahap.

arxiv Moonshot AI (arXiv) · 755 hari lalu

Laporan Teknis Qwen2 memperkenalkan model padat dan MoE hingga 72B

Laporan Teknis Qwen2 memperkenalkan seri Qwen2, sebuah rangkaian baru model bahasa besar dan multimodal yang mendasar serta disesuaikan dengan instruksi, dengan jumlah parameter berkisar dari 0,5 hingga 72 miliar. Rilis ini mencakup arsitektur padat dan model Mixture-of-Experts, dengan model andalan Qwen2-72B menunjukkan kinerja kompetitif dibandingkan model tertutup di berbagai benchmark.