Qwen3技術レポートは、0.6億から2350億パラメータに及ぶ一連のオープンウェイト大規模言語モデルを紹介しており、密構造とMixture-of-Expertsアーキテクチャの両方を採用しています。主な革新点は、複雑な推論用の「思考モード」と迅速な応答用の「非思考モード」を単一のフレームワークに統合し、モデルの切り替えなしで動的に切り替えられるようにした点です。

  • フラッグシップモデルQwen3-235B-A22Bは、パフォーマンスと推論効率のバランスを取るため、トークンあたり220億パラメータを活性化します。
  • 多言語対応は29言語・方言から119言語・方言に拡大し、以前のQwenモデルによって生成された合成データを含む36兆トークンで学習しました。
  • シリーズ全体で、推論中の適応的な計算リソース配分を実現する「思考予算」メカニズムを実装しています。
  • 後処理では、多段階強化学習とStrong-to-Weakディストillationを用いて、モデルを人間の好みと整合させています。

著者らはこれらの進展が重要であると考えており、それは独自モデルに対抗できるパフォーマンスを実現しつつ、ユーザーが推論の努力量とレイテンシに対して微細な制御を行えるようにするためです。