arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperluas pra-pelatihan hingga 18 triliun token dan menggunakan RL bertahap

Diterjemahkan dari English → Bahasa Indonesia

Alibaba telah merilis laporan teknis Qwen2.5, memperkenalkan seri komprehensif model bahasa besar dengan peningkatan signifikan pada tahap pra-pelatihan dan pasca-pelatihan. Pembaruan ini memperluas dataset pra-pelatihan berkualitas tinggi dari 7 triliun menjadi 18 triliun token dan menerapkan penyetelan halus terawasi yang rumit dengan lebih dari 1 juta sampel serta pembelajaran penguatan bertahap.

Penawaran bobot terbuka mencakup model dasar dan model yang disetel untuk instruksi, dengan versi kuantisasi tersedia.
Solusi berbayar yang dihosting memiliki dua varian campuran ahli: Qwen2.5-Turbo dan Qwen2.5-Plus.
Model unggulan Qwen2.5-72B-Instruct mengungguli banyak model terbuka dan berbayar, menunjukkan kinerja kompetitif dibandingkan dengan Llama-3-405B-Instruct.
Qwen2.5-Turbo dan Qwen2.5-Plus menawarkan efisiensi biaya yang lebih unggul sambil tetap bersaing secara kompetitif terhadap GPT-4o-mini dan GPT-4o secara berurutan.

Peningkatan ini memberikan fondasi kuat untuk akal sehat, pengetahuan ahli, dan kemampuan penalaran, sementara teknik pasca-pelatihan secara signifikan meningkatkan generasi teks panjang, analisis data terstruktur, dan kepatuhan instruksi.

Kepentingan 2/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Artikel terkait

arxiv Moonshot AI (arXiv) · 452 hari lalu

Qwen3 memperkenalkan mode berpikir terpadu dan memperluas dukungan multibahasa ke 119 bahasa

Laporan Teknis Qwen3 menyajikan versi terbaru dari keluarga model Qwen, dengan arsitektur padat dan Mixture-of-Expert (MoE) serta skala parameter dari 0,6 hingga 235 miliar. Inovasi utamanya adalah integrasi mode berpikir untuk penalaran kompleks dan mode tanpa berpikir untuk respons cepat ke dalam satu kerangka kerja terpadu, sehingga menghilangkan kebutuhan untuk beralih antar model yang berbeda.

arxiv Moonshot AI (arXiv) · 452 hari lalu · 2 tayangan

Qwen3 memperkenalkan mode berpikir terpadu dan dukungan 119 bahasa

Laporan Teknis Qwen3 memperkenalkan seri baru model bahasa besar dengan bobot terbuka, mulai dari 0,6 hingga 235 miliar parameter, yang mencakup arsitektur dense dan Mixture-of-Experts. Inovasi utamanya adalah integrasi "mode berpikir" untuk penalaran kompleks dan "mode tanpa berpikir" untuk respons cepat ke dalam satu kerangka kerja, memungkinkan pengalihan dinamis tanpa pergantian model.

arxiv Moonshot AI (arXiv) · 598 hari lalu

Qwen2.5 memperkenalkan model dense dan MoE dengan 18T token pra-pelatihan

Laporan Teknis Qwen2.5 merinci rilis serangkaian lengkap model bahasa besar yang mencakup varian dense berbobot terbuka dan model mixture-of-experts (MoE) tertutup. Pembaruan ini secara signifikan meningkatkan data pra-pelatihan dari 7 triliun menjadi 18 triliun token dan menggunakan lebih dari 1 juta sampel untuk pasca-pelatihan melalui penyetelan halus terawasi dan pembelajaran penguatan.

arxiv Moonshot AI (arXiv) · 755 hari lalu

Tim Qwen merilis seri Qwen2 dengan model padat dan MoE 72B

Tim Qwen telah menerbitkan laporan teknis Qwen2, memperkenalkan seri baru model bahasa besar yang berkisar dari 0,5 hingga 72 miliar parameter, termasuk arsitektur padat dan Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · 755 hari lalu

Laporan Teknis Qwen2 memperkenalkan model padat dan MoE hingga 72B

Laporan Teknis Qwen2 memperkenalkan seri Qwen2, sebuah rangkaian baru model bahasa besar dan multimodal yang mendasar serta disesuaikan dengan instruksi, dengan jumlah parameter berkisar dari 0,5 hingga 72 miliar. Rilis ini mencakup arsitektur padat dan model Mixture-of-Experts, dengan model andalan Qwen2-72B menunjukkan kinerja kompetitif dibandingkan model tertutup di berbagai benchmark.