Qwen2技術レポートは、0.5億から720億パラメータにわたる基礎的・指示微調整済み大規模言語モデルおよびマルチモーダルモデルの新シリーズであるQwen2シリーズを紹介します。このリリースには密集型アーキテクチャとMixture-of-Expertsモデルの両方が含まれており、フラッグシップのQwen2-72Bは様々なベンチマークでプロプライエタリなモデルと競合するパフォーマンスを示しています。

  • ベースとなるQwen2-72Bモデルは、MMLUで84.2、GPQAで37.9、HumanEvalで64.6、GSM8Kで89.5、BBHで82.4のスコアを達成しています。
  • 指示微調整済みQwen2-72B-Instructバリアントは、MT-Benchで9.1、Arena-Hardで48.1、LiveCodeBenchで35.7に達しています。
  • これらのモデルは英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語を含む約30の言語をサポートしています。
  • モデルの重みはHugging FaceおよびModelScopeで公開されており、追加コードとデプロイメントリソースはGitHubで提供されています。

著者らはこれらの重みをコミュニティの革新とアクセシビリティを促進するためにリリースし、幅広いアプリケーションや研究活動を支えるために量子化、ファインチューニング、デプロイメントのリソースを提供しています。