アリババクラウドは、デコーダー専用密構造言語モデルのQwen2.5シリーズをオープンソース化し、既存の0.5B〜72Bパラメータのラインナップに3B、14B、32Bの3つの新しいサイズを追加しました。このアップデートにより、事前学習データセットは7兆トークンから18兆トークンに拡大され、Qwen2.5-CoderおよびQwen-mathからの技術的ブレークスルーが統合され、コーディング、数学、一般知識におけるパフォーマンスが大幅に向上しました。

  • Qwen2.5-32BモデルはQwen2-72Bを上回り、Qwen2.5-14Bは包括的な評価でQwen2-57B-A14Bを凌駕します。
  • MMLUベンチマークにおける知識の強化が顕著で、Qwen2.5-7B/72Bのスコアはそれぞれ70.3から74.2、84.2から86.1に上昇しました。
  • コーディング能力が大幅に改善し、Qwen2.5-72B-InstructはLiveCodeBenchで55.5、MBPPで88.2を達成しました。
  • 数学的能力も大きく向上し、Qwen2.5-7B/72B-InstructのMATHベンチマークスコアは52.9/69.0から75.5/83.1に上昇しました。
  • 人間の好みへの整列が改善し、Qwen2.5-72B-InstructのArena-Hardスコアは48.1から81.2に跳ね上がりました。
  • コンテキスト長のサポートは128Kトークンまで拡張され、ほとんどのモデルはApache 2.0ライセンスの下で提供されます。

今回のリリースは、10〜30B範囲のコスト効果の高い生産用モデルおよびモバイル最適化された3Bモデルに対するユーザーの需要に応え、より大きなプロプライエタリシステムと同等またはそれ以上のパフォーマンスを持つ非常に競争力のあるオープンソースの代替案を提供します。