lab Tencent Hunyuan (HF) · il y a 1 j · releases

Tencent publie les checkpoints de Simple Attention Sparsification pour Qwen3

Traduit de English → Français

Tencent a publié des checkpoints de Simple Attention Sparsification (SAS) qui apprennent à classer et sélectionner des blocs KV pour chaque requête dans les modèles Qwen3. Contrairement aux méthodes qui distillent les scores d'attention dense, SAS ajoute des portes continues aux blocs sélectionnés, permettant l'optimisation de bout en bout du classement du contexte avec la perte de modélisation du langage.

La publication inclut des checkpoints gate-router pour les modèles Qwen3-4B, Qwen3-8B et Qwen3-14B.
Ce sont des poids uniquement de routeur qui nécessitent un modèle de base Qwen3 public correspondant et le backend seer_attn dans un fork de SGLang.
La configuration par défaut de sparse-attention utilise un budget de décodage de 2 048 tokens, mais les checkpoints peuvent être évalués avec des budgets de 1 024, 2 048 ou 4 096 tokens sans réentraînement.

Les checkpoints permettent aux utilisateurs de servir une API compatible OpenAI en utilisant le backend seer_attn pour une inférence efficace.

Importance 1/3 Nouveau cadre d'évaluation avec différenciateurs Confiance 1/3 Tencent Hunyuan (HF) Tencent Inference efficiency Open weights

Lire l'original

Articles similaires

media MarkTechPost · il y a 47 j · 19 vues

Tencent publie AngelSpec, un cadre d'entraînement unifié pour MTP et le décodage spéculatif bloc-parallèle

Tencent a open-sourcé AngelSpec, un framework d'entraînement natif torch qui prend en charge à la fois la prédiction multi-jeton autoregressive (MTP) et les drafters de famille DFlash bloc-parallèles pour les modèles Hy3. Le système traite l'hétérogénéité des charges de travail comme une contrainte de conception principale, lui permettant de spécialiser la structure, les données d'entraînement et la profondeur de vérification en fonction de cas d'utilisation spécifiques.

lab Tencent Hunyuan (HF) · il y a 54 j · 27 vues

Tencent open-source les modèles de traduction multilingue Hy-MT2 et IFMTBench

Tencent a publié la famille de modèles de traduction multilingue « à réflexion rapide » Hy-MT2, incluant les tailles 1.8B, 7B et 30B-A3B (MoE), ainsi que le benchmark IFMTBench pour évaluer les capacités de suivi d'instructions.

media r/LocalLLaMA · il y a 64 j · 9 vues

llama.cpp ajoute le support de Hy3 avec le décodage spéculatif MTP

Une demande de tirage soumise au dépôt ggml-org/llama.cpp introduit le support pour le modèle Hy3 de Tencent, spécifiquement la variante hy_v3. Cette mise à jour permet d'utiliser la tête de prédiction multi-jeton du modèle comme cible de décodage spéculatif draft-mtp.

arxiv arXiv cs.AI · il y a 64 j · 15 vues

Deutsche Telekom lance Soofi S 30B-A3B pour l'allemand et l'anglais

Deutsche Telekom a publié Soofi S 30B-A3B, un modèle fondationnel Mixture-of-Experts souverain et open-source optimisé pour l'allemand et l'anglais. Construit sur le German Industrial AI Cloud, le modèle n'active que 3 milliards de ses 30 milliards de paramètres par token afin de maintenir un cache d'inférence quasi constant à mesure que le contexte augmente.

arxiv arXiv cs.LG · il y a 64 j · 19 vues

Deutsche Telekom lance Soofi S 30B-A3B, un modèle MoE open-source allemand-anglais

Deutsche Telekom a publié Soofi S 30B-A3B, un modèle de base hybride Mamba Transformer à experts multiples (Mixture-of-Experts) souverain et open-source conçu pour l'allemand et l'anglais. Construit de bout en bout sur le Cloud IA industriel allemand, le modèle n'active que 3 milliards de ses 30 milliards de paramètres par token afin de maintenir un cache d'inférence quasi constant à mesure que le contexte s'agrandit.