arxiv Moonshot AI (arXiv) · 755日前

Qwenチームが72BのDenseおよびMoEモデルを含むQwen2シリーズをリリース

翻訳元 English → 日本語

QwenチームはQwen2技術レポートを発表し、0.5億から720億パラメータに及ぶ新しい大規模言語モデル（LLM）シリーズを紹介しました。これにはDenseアーキテクチャとMixture-of-Experts (MoE) アーキテクチャの両方が含まれます。

フラッグシップのQwen2-72Bベースモデルは、MMLUで84.2、GSM8Kで89.5、HumanEvalで64.6のスコアを達成しました。
インストラクションチューニング済みのQwen2-72B-Instructバリアントは、MT-Benchで9.1、LiveCodeBenchで35.7に達しました。
モデルは7兆トークン以上でトレーニングされ、約30の言語をサポートしています。
ウェイトはHugging FaceおよびModelScopeでコミュニティ利用のために公開されています。

今回のリリースは、研究やデプロイメントのためにアクセス可能でありながら、プロプライエタリなシステムと競争できる高性能な基盤モデルを提供することを目的としています。

重要度 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

ベンチマーク

ベンチマーク	モデル	スコア
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

原文を読む

関連記事

arxiv Moonshot AI (arXiv) · 452日前

Qwen3が統一された思考モードを導入し、119言語への多言語サポートを拡大

Qwen3技術レポートは、Qwenモデルファミリーの最新バージョンを紹介しています。このバージョンでは、0.6億から2350億のパラメータ規模を持つ密集型およびMixture-of-Expert (MoE) アーキテクチャが特徴です。重要な革新として、複雑な推論用の思考モードと迅速な応答用の非思考モードを統合フレームワークに統合し、異なるモデル間の切り替えを不要にしました。

arxiv Moonshot AI (arXiv) · 452日前 · 2 回表示

Qwen3が統一思考モードと119言語対応を導入

Qwen3技術レポートは、0.6億から2350億パラメータに及ぶ一連のオープンウェイト大規模言語モデルを紹介しており、密構造とMixture-of-Expertsアーキテクチャの両方を採用しています。主な革新点は、複雑な推論用の「思考モード」と迅速な応答用の「非思考モード」を単一のフレームワークに統合し、モデルの切り替えなしで動的に切り替えられるようにした点です。

arxiv Moonshot AI (arXiv) · 598日前

Qwen2.5が18Tの事前学習トークンを持つ密集型およびMoEモデルを導入

Qwen2.5技術レポートは、オープンウェイトの密集型バリアントと独自開発の混合专家（MoE）モデルを特徴とする包括的な大規模言語モデルシリーズのリリースについて詳述しています。このアップデートにより、事前学習データは7兆トークンから18兆トークンに大幅にスケールし、教師ありファインチューニングおよび強化学習によるポストトレーニングのために100万サンプル以上が採用されています。

arxiv Moonshot AI (arXiv) · 598日前

Qwen2.5は18兆トークンの事前トレーニングをスケーリングし、多段階RLを採用

アリババはQwen2.5の技術レポートを公開し、事前トレーニングと後期トレーニングの両方で大幅な改善をもたらす大規模言語モデルの一連の包括的なシリーズを紹介した。このアップデートでは、高品質な事前トレーニングデータを7兆トークンから18兆トークンにスケーリングし、100万サンプル以上の複雑な教師ありファインチューニングと多段階強化学習を実装している。

arxiv Moonshot AI (arXiv) · 755日前

Qwen2技術レポートは72Bまでの密集型およびMoEモデルを紹介

Qwen2技術レポートは、0.5億から720億パラメータにわたる基礎的・指示微調整済み大規模言語モデルおよびマルチモーダルモデルの新シリーズであるQwen2シリーズを紹介します。このリリースには密集型アーキテクチャとMixture-of-Expertsモデルの両方が含まれており、フラッグシップのQwen2-72Bは様々なベンチマークでプロプライエタリなモデルと競合するパフォーマンスを示しています。