騰訊Hyチームは、総パラメータ数770B、1トークンあたり49Bが活性化される新世代Mixture-of-ExpertsフラッグシップモデルであるHy4プレビューをオープンソース化した。アーキテクチャは78層で、最初の層は密なFFNを使用し、残りの77層は256のルーティング済みエキスパートを持つMoEを採用し、推論デコーディング用のネイティブMTP層も備えている。

  • Hy4プレビューは、生産性タスクの向上を目的として、騰訊のソフトウェアエンジニア、ゲーム開発者、金融アナリストからのデータで学習している。
  • 163人の内部専門家による203のエンジニアリングタスクでの盲検並列評価において、Hy4プレビューは2.99点を獲得し、GLM 5.3 (2.92) や Kimi K3 (2.94) をわずかに上回った。
  • MTPを有効化したvLLMまたはSGLang経由でのデプロイメントをサポートし、圧縮用のAngelSlimツールキットを含んでいる。

今回の公開は、ユーザーフィードバックに基づく早期反復を通じてモデルの知能の限界を広げ、より豊富で手頃な価格を実現することを目指している。