Laporan Teknis Qwen2 memperkenalkan seri Qwen2, sebuah rangkaian baru model bahasa besar dan multimodal yang mendasar serta disesuaikan dengan instruksi, dengan jumlah parameter berkisar dari 0,5 hingga 72 miliar. Rilis ini mencakup arsitektur padat dan model Mixture-of-Experts, dengan model andalan Qwen2-72B menunjukkan kinerja kompetitif dibandingkan model tertutup di berbagai benchmark.
- Model dasar Qwen2-72B mencapai skor 84,2 pada MMLU, 37,9 pada GPQA, 64,6 pada HumanEval, 89,5 pada GSM8K, dan 82,4 pada BBH.
- Varian Qwen2-72B-Instruct yang disesuaikan dengan instruksi mencapai skor 9,1 pada MT-Bench, 48,1 pada Arena-Hard, dan 35,7 pada LiveCodeBench.
- Model-model ini mendukung sekitar 30 bahasa, termasuk Inggris, Mandarin, Spanyol, Prancis, Jerman, Arab, Rusia, Korea, Jepang, Thailand, dan Vietnam.
- Bobot model tersedia secara terbuka di Hugging Face dan ModelScope, dengan kode tambahan dan sumber daya penyebaran disediakan di GitHub.
Para penulis merilis bobot ini untuk mendorong inovasi dan aksesibilitas komunitas, menyediakan sumber daya untuk kuantisasi, penyetelan halus, dan penyebaran guna memfasilitasi berbagai aplikasi dan upaya penelitian.