arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperkenalkan model dense dan MoE dengan 18T token pra-pelatihan

Diterjemahkan dari English → Bahasa Indonesia

Laporan Teknis Qwen2.5 merinci rilis serangkaian lengkap model bahasa besar yang mencakup varian dense berbobot terbuka dan model mixture-of-experts (MoE) tertutup. Pembaruan ini secara signifikan meningkatkan data pra-pelatihan dari 7 triliun menjadi 18 triliun token dan menggunakan lebih dari 1 juta sampel untuk pasca-pelatihan melalui penyetelan halus terawasi dan pembelajaran penguatan.

Model dense berbobot terbuka tersedia dalam ukuran 0.5B, 1.5B, 3B, 7B, 14B, 32B, dan 72B parameter.
Model MoE tertutup Qwen2.5-Turbo dan Qwen2.5-Plus tersedia melalui Alibaba Cloud Model Studio.
Qwen2.5-72B-Instruct andalannya setara dengan Llama-3-405B-Instruct meskipun ukurannya lima kali lebih kecil.
Dukungan panjang konteks meningkat dari 2K menjadi 8K token, dengan Qwen2.5-Turbo mendukung hingga 1 juta token.

Peningkatan ini bertujuan untuk memberikan solusi hemat biaya untuk berbagai kasus penggunaan sambil mempertahankan kinerja tingkat atas pada benchmark penalaran, pemrograman, dan matematika.

Kepentingan 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Artikel terkait

arxiv Moonshot AI (arXiv) · 452 hari lalu

Qwen3 memperkenalkan mode berpikir terpadu dan memperluas dukungan multibahasa ke 119 bahasa

Laporan Teknis Qwen3 menyajikan versi terbaru dari keluarga model Qwen, dengan arsitektur padat dan Mixture-of-Expert (MoE) serta skala parameter dari 0,6 hingga 235 miliar. Inovasi utamanya adalah integrasi mode berpikir untuk penalaran kompleks dan mode tanpa berpikir untuk respons cepat ke dalam satu kerangka kerja terpadu, sehingga menghilangkan kebutuhan untuk beralih antar model yang berbeda.

arxiv Moonshot AI (arXiv) · 452 hari lalu · 2 tayangan

Qwen3 memperkenalkan mode berpikir terpadu dan dukungan 119 bahasa

Laporan Teknis Qwen3 memperkenalkan seri baru model bahasa besar dengan bobot terbuka, mulai dari 0,6 hingga 235 miliar parameter, yang mencakup arsitektur dense dan Mixture-of-Experts. Inovasi utamanya adalah integrasi "mode berpikir" untuk penalaran kompleks dan "mode tanpa berpikir" untuk respons cepat ke dalam satu kerangka kerja, memungkinkan pengalihan dinamis tanpa pergantian model.

arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperluas pra-pelatihan hingga 18 triliun token dan menggunakan RL bertahap

Alibaba telah merilis laporan teknis Qwen2.5, memperkenalkan seri komprehensif model bahasa besar dengan peningkatan signifikan pada tahap pra-pelatihan dan pasca-pelatihan. Pembaruan ini memperluas dataset pra-pelatihan berkualitas tinggi dari 7 triliun menjadi 18 triliun token dan menerapkan penyetelan halus terawasi yang rumit dengan lebih dari 1 juta sampel serta pembelajaran penguatan bertahap.

arxiv Moonshot AI (arXiv) · 755 hari lalu

Tim Qwen merilis seri Qwen2 dengan model padat dan MoE 72B

Tim Qwen telah menerbitkan laporan teknis Qwen2, memperkenalkan seri baru model bahasa besar yang berkisar dari 0,5 hingga 72 miliar parameter, termasuk arsitektur padat dan Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · 755 hari lalu

Laporan Teknis Qwen2 memperkenalkan model padat dan MoE hingga 72B

Laporan Teknis Qwen2 memperkenalkan seri Qwen2, sebuah rangkaian baru model bahasa besar dan multimodal yang mendasar serta disesuaikan dengan instruksi, dengan jumlah parameter berkisar dari 0,5 hingga 72 miliar. Rilis ini mencakup arsitektur padat dan model Mixture-of-Experts, dengan model andalan Qwen2-72B menunjukkan kinerja kompetitif dibandingkan model tertutup di berbagai benchmark.