アリババはQwen2.5の技術レポートを公開し、事前トレーニングと後期トレーニングの両方で大幅な改善をもたらす大規模言語モデルの一連の包括的なシリーズを紹介した。このアップデートでは、高品質な事前トレーニングデータを7兆トークンから18兆トークンにスケーリングし、100万サンプル以上の複雑な教師ありファインチューニングと多段階強化学習を実装している。

  • オープンウェイトの提供にはベースモデルとインストラクションチューニング済みモデルが含まれ、量子化版も利用可能。
  • 専用ホスティングソリューションには、2つのMixture-of-ExpertsバリエーションであるQwen2.5-TurboとQwen2.5-Plusが含まれる。
  • フラッグシップのQwen2.5-72B-Instructは多くのオープンおよびプロプライエタリモデルを上回り、Llama-3-405B-Instructと競争力のあるパフォーマンスを示している。
  • Qwen2.5-TurboとQwen2.5-Plusは、GPT-4o-miniおよびGPT-4oそれぞれに対して競争力のあるパフォーマンスを発揮しながら、優れたコスト効率を提供する。

これらの強化により、常識、専門知識、推論能力の強力な基盤が提供され、後期トレーニング手法によって長文生成、構造化データ分析、インストラクションフォローイングが顕著に改善されている。