Upstageは、オフィス生産性やコーディングなどのエージェントワークフロー向けに設計された2500億パラメータのオープンウェイト大規模言語モデル「Solar Open 2」をリリースした。このモデルは、1トークンあたり150億パラメータのみを活性化させるハイブリッド・アテンションMixture-of-Expertsアーキテクチャを採用し、効率的な推論を実現している。

  • 位置エンコーディングを排除し、線形アテンション層内で内在的順序エンコーディングを採用することで、100万トークンのコンテキストウィンドウを実現した。
  • Solar Open 1から選択的な重み転送を行い、わずか2.3%の重みを引き継ぐことでモデル初期化を行い、トレーニング効率を向上させた。
  • 線形アテンション層3つとソフトマックス・アテンション層1つを交互に配置し、KVキャッシュのメモリ使用量を全ソフトマックスモデルの約4分の1に削減した。
  • 英語、韓国語、日本語に対応しており、エージェントベンチマークにおいて他のオープンウェイトモデルと競争力のある性能を示している。

今回のリリースは、低推論コストを維持しつつ、ロングコンテキストタスクやツール呼び出し機能に最適化された高容量モデルを提供するものとなっている。