Tencentは、Tencent Hy Teamによって開発された新しいApache 2.0ライセンスの大型言語モデル「Hy3」をリリースしました。このモデルは、合計2950億個のパラメータと210億個のアクティブパラメータを持ち、256Kのコンテキスト長をサポートします。

  • Hy3は、3.8BのMTP層パラメータを持つMixture-of-Expertsアーキテクチャを利用しています。
  • 同サイズのモデルを上回り、2〜5倍多くのパラメータを必要とするフラッグシップオープンソースモデルに匹敵する性能を発揮します。
  • フルサイズのモデルは598GBのダウンロードとして提供され、FP8量子化バージョンは300GBです。
  • Tencentは50以上の製品からのフィードバックを受け、高品質なデータを用いてポストトレーニングをスケールアップしました。

今回のリリースは、さまざまな生産性タスクにおいて顕著な利便性の向上を示しています。