Tencent telah merilis bobot untuk model Hy4-preview-nya, khususnya varian 770B-A49B. Model tersebut sekarang tersedia di Hugging Face.
Tencent merilis bobot Hy4-preview 770B-A49B
Tencent merilis model MoE Hy4-preview dengan 770B parameter
Tim Tencent Hy telah membuka sumber Hy4-preview, model unggulan Mixture-of-Experts generasi baru yang terdiri dari 770B total parameter dengan 49B diaktifkan per token. Arsitekturnya memiliki 78 lapisan di mana lapisan pertama menggunakan FFN padat dan 77 lapisan sisanya menggunakan MoE dengan 256 ahli terarah, bersama lapisan MTP asli untuk dekode spekulatif.
Tencent merilis model MoE preview Hy4 dengan 770B parameter
Tim Tencent Hy telah membuka sumber Hy4 preview, sebuah model unggulan Mixture-of-Experts generasi baru yang terdiri dari total 770B parameter dengan 49B diaktifkan per token. Arsitekturnya memiliki 78 lapisan di mana lapisan pertama menggunakan FFN padat dan 77 lapisan lainnya menggunakan MoE dengan 256 ahli yang dialihkan, bersama dengan lapisan MTP asli untuk decoding spekulatif.
Tencent merilis model embedding multimodal WeMM-Embedding-2B
Tencent telah merilis WeMM-Embedding-2B, sebuah model embedding multimodal universal yang dibangun di atas Qwen3.5 yang menerima teks, gambar, video, dokumen visual, dan input interleave untuk mengembalikan embedding L2-normalized berdimensi 2.048.
Tencent merilis model embedding multimodal universal WeMM-Embedding-4B
Tencent telah merilis WeMM-Embedding-4B, sebuah model embedding multimodal universal yang dibangun di atas Qwen3.5 yang menerima teks, gambar, video, dokumen visual, dan input interleave untuk mengembalikan embedding L2-normalized berdimensi 2.560.
Tencent merilis model embedding multimodal universal WeMM-Embedding-9B
Tencent telah merilis WeMM-Embedding-9B, sebuah model embedding multimodal universal yang dibangun di atas Qwen3.5 yang menerima teks, gambar, video, dokumen visual, dan input interleave untuk mengembalikan embedding L2-normalized berdimensi 4.096.