Tim Tencent Hy telah membuka sumber Hy4 preview, sebuah model unggulan Mixture-of-Experts generasi baru yang terdiri dari total 770B parameter dengan 49B diaktifkan per token. Arsitekturnya memiliki 78 lapisan di mana lapisan pertama menggunakan FFN padat dan 77 lapisan lainnya menggunakan MoE dengan 256 ahli yang dialihkan, bersama dengan lapisan MTP asli untuk decoding spekulatif.
- Hy4 preview dilatih pada data dari insinyur perangkat lunak Tencent, pengembang game, dan analis keuangan untuk meningkatkan tugas produktivitas.
- Dalam evaluasi buta berdampingan pada 203 tugas teknik oleh 163 ahli internal, Hy4 preview mencetak skor 2.99, sedikit di depan GLM 5.3 (2.92) dan Kimi K3 (2.94).
- Model ini mendukung penyebaran melalui vLLM atau SGLang dengan MTP diaktifkan, dan mencakup toolkit AngelSlim untuk kompresi.
Rilis ini bertujuan mendorong batas kecerdasan model sambil membuatnya lebih melimpah dan terjangkau melalui iterasi awal berdasarkan umpan balik pengguna.