Tencent merilis Hy3, model MoE dengan 295B parameter

Tencent telah merilis Hy3, model bahasa besar (LLM) baru berlisensi Apache 2.0 yang dikembangkan oleh Tim Tencent Hy. Model ini memiliki total 295 miliar parameter dengan 21 miliar parameter aktif dan mendukung panjang konteks 256K.

• Hy3 memanfaatkan arsitektur Mixture-of-Experts dengan parameter lapisan MTP sebesar 3,8B.
• Model ini mengungguli model seukuran serupa dan menyaingi model open-source flagship yang membutuhkan parameter 2-5x lebih banyak.
• Model ukuran penuh tersedia sebagai unduhan 598GB, sedangkan versi kuantisasi FP8 berukuran 300GB.
• Tencent meningkatkan post-training dengan data berkualitas lebih tinggi setelah menerima umpan balik dari lebih dari 50 produk.

Rilis ini menunjukkan peningkatan utilitas yang signifikan di berbagai tugas produktivitas.