Tencent a publié les poids de son modèle Hy4-preview, spécifiquement la variante 770B-A49B. Le modèle est désormais disponible sur Hugging Face.
media
r/LocalLLaMA
·
il y a 1 h
·
open_models
Tencent publie les poids de Hy4-preview 770B-A49B
Traduit de English → Français
Articles similaires
lab
Tencent Hunyuan (HF)
·
à l'instant
En direct
Tencent publie le modèle MoE Hy4-preview avec 770B de paramètres
L'équipe Tencent Hy a open-sourcé Hy4-preview, un nouveau modèle phare Mixture-of-Experts de nouvelle génération comprenant 770B de paramètres au total avec 49B activés par token. L'architecture comporte 78 couches où la première utilise un FFN dense et les 77 suivantes utilisent MoE avec 256 experts routés, ainsi qu'une couche MTP native pour le décodage spéculatif.
lab
Tencent Hunyuan (HF)
·
il y a 1 h
·
6 vues
En direct
Tencent publie le modèle Hy4 preview MoE avec 770B de paramètres
L'équipe Tencent Hy a open-sourcé Hy4 preview, un nouveau modèle phare Mixture-of-Experts de nouvelle génération comprenant 770B de paramètres au total avec 49B activés par token. L'architecture comporte 78 couches où la première utilise un FFN dense et les 77 restantes utilisent MoE avec 256 experts routés, ainsi qu'une couche MTP native pour le décodage spéculatif.
lab
Tencent Hunyuan (HF)
·
il y a 3 j
·
6 vues
Tencent lance le modèle d'embedding multimodal WeMM-Embedding-2B
Tencent a lancé WeMM-Embedding-2B, un modèle universel d'embedding multimodal basé sur Qwen3.5 qui accepte du texte, des images, des vidéos, des documents visuels et des entrées entrelacées pour retourner des embeddings L2-normalisés de 2 048 dimensions.
lab
Tencent Hunyuan (HF)
·
il y a 3 j
·
15 vues
Tencent lance le modèle d'embedding multimodal universel WeMM-Embedding-4B
Tencent a publié WeMM-Embedding-4B, un modèle d'embedding multimodal universel basé sur Qwen3.5 qui accepte du texte, des images, des vidéos, des documents visuels et des entrées entrelacées pour retourner des embeddings L2-normalisés de 2 560 dimensions.
lab
Tencent Hunyuan (HF)
·
il y a 3 j
·
17 vues
Tencent lance le modèle d'embedding multimodal universel WeMM-Embedding-9B
Tencent a publié WeMM-Embedding-9B, un modèle d'embedding multimodal universel basé sur Qwen3.5 qui accepte du texte, des images, des vidéos, des documents visuels et des entrées entrelacées pour retourner des embeddings L2-normalisés de 4 096 dimensions.