arxiv arXiv cs.CL · il y a 3 j · source : il y a 6 j · research

KuaFu compresse le comportement utilisateur en compréhension à l'échelle du milliard

Traduit de English → Français

Tencent présente KuaFu, une couche unifiée de compression du comportement qui condense l'historique brut de l'utilisateur en représentations compactes pour les agents conversationnels et les recommandeurs. Le système utilise un projecteur à deux axes pour compresser chaque élément de comportement en 2-4 tokens de largeur 128-256, adressant les goulots d'étranglement dans le traitement des séquences longues pour un milliard d'utilisateurs.

KuaFu égale ou dépasse les modèles de production à tâche unique non compressés sur quatre tâches de profilage, tout en augmentant le débit par GPU de 37% à 350% et en économisant 190 GPUs. Sur les benchmarks publics, il surpasse les compresseurs précédents au même ratio, un modèle 4B surpassant son homologue 8B sur RecBench.

Après avoir fonctionné sur la plateforme de publicité et de recommandation de Tencent pendant dix mois, KuaFu a augmenté le GMV global de 1.37%.

Importance 2/3 arXiv cs.CL Tencent Inference efficiency Retrieval & RAG

Lire l'original

Le routage sémantique réduit de 41 % les jetons d'entrée et la latence de 45 % lors d'un test de stress sur un contexte de 14K

Un test de stress GPU utilisant Qwen2.5-7B-Instruct gelé en 4 bits sur les questions de pont HotpotQA démontre que le routage sémantique conscient de la tâche améliore significativement l'efficacité et la précision dans des conditions à fort distracteur. L'étude a comparé un contexte complet limité à un sélecteur sémantique conscient de la requête conservant 60 % du budget, révélant des gains substantiels en vitesse et en précision.

lab Tencent Hunyuan (HF) · il y a 17 j · 21 vues

Tencent publie les checkpoints de Simple Attention Sparsification pour Qwen3

Tencent a publié des checkpoints de Simple Attention Sparsification (SAS) qui apprennent à classer et sélectionner des blocs KV pour chaque requête dans les modèles Qwen3. Contrairement aux méthodes qui distillent les scores d'attention dense, SAS ajoute des portes continues aux blocs sélectionnés, permettant l'optimisation de bout en bout du classement du contexte avec la perte de modélisation du langage.

media Hugging Face Forums · il y a 17 j · 16 vues

Le routage conscient des ponts bat BM25 et la promotion aléatoire sur Qwen2.5-7B

Une évaluation sur 600 cas du jeu de données MuSiQue utilisant les modèles gelés Qwen2.5-7B-Instruct et MiniLM teste si la sélection de contexte consciente des ponts peut surpasser le contexte complet et d'autres références.

lab Tencent Hunyuan (HF) · il y a 23 j · 37 vues

Tencent publie EVIE-4.5B avec Prefix-MRL dynamique et compression de tokens sans entraînement

Tencent a publié EVIE-4.5B, un modèle de récupération visuelle de documents multilingues haute performance présentant une latence de récupération multivectorielle par préfixe dynamique (Prefix-MRL) et une compression de tokens par regroupement hiérarchique agglomératif (HAC) sans entraînement.

lab Tencent Hunyuan (HF) · il y a 23 j · 32 vues

Tencent publie EVIE-8B, un modèle de récupération de documents visuels à 4096D

Tencent a publié EVIE-8B, un modèle de récupération de documents visuels à haute capacité présentant des représentations de tokens en 4096 dimensions et une attention bidirectionnelle complète. Le modèle sert de base enseignante pour la variante légère EVIE-4.5B Prefix-MRL et atteint des performances de pointe sur les benchmarks de récupération de documents visuels.