arxiv arXiv cs.CL · il y a 2 h · research

Douyin publie le modèle d'encodage multimodal DME avec des performances de pointe

Traduit de English → Français

Douyin a publié le rapport technique de son modèle Multimodal Embedding (DME), qui combine un pré-entraînement contrastif à grande échelle avec un raisonnement latent pour atteindre une forte capacité de discrimination et une efficacité.

Entraîné en deux étapes : l'étape 1 établit un espace d'encodage multimodal unifié via un pré-entraînement contrastif, tandis que l'étape 2 utilise un Raisonnement Latent Typé Ancré sur les Preuves et une Reconstruction Croisée Conditionnelle pour améliorer la suffisance sémantique.
Les deux mécanismes n'agissent que pendant l'entraînement, permettant à DME d'être servi avec une surcharge côté requête marginale comparable à celle des encodeurs contrastifs standards.
Sur MMEB-v2, les variantes 2B et 9B atteignent des résultats de pointe avec des scores de 74,8 et 78,4, montrant une force particulière dans les tâches vidéo et de documents visuels.
En production, DME offre un gain relatif de 2,92 % sur l'ensemble d'évaluation hors ligne de Douyin et un gain de 0,1 % en durée de vie (LT) lors des tests A/B en ligne pour la recherche.

Le modèle est déployé dans divers scénarios de Douyin, notamment la génération, l'image et la recherche IA, répondant au besoin à la fois d'efficacité sous un indexage à l'échelle du milliard et d'une discrimination fine.

Importance 2/3 arXiv cs.CL ByteDance Multimodal Research paper

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 2 j

Un lycéen cherche un endosseur arXiv pour l'article AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, une élève de seconde, cherche un endosseur arXiv dans cs.LG ou cs.CV pour téléverser son préprint indépendant intitulé "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

arxiv arXiv cs.AI · il y a 7 j

ClinFusion présente un MLLM centré sur la vision pour une compréhension médicale holistique

Les chercheurs présentent ClinFusion, un grand modèle de langage multimodal centré sur la vision conçu pour relever les défis du déploiement de l'IA dans la pratique clinique en unifiant la compréhension des images médicales 2D et 3D. Le système intègre un encodeur visuel en cascade compositionnel avec un opérateur de fusion de localité spatiale-aware en cascade et comprend un nouveau cadre d'évaluation composé de MedIF-Bench et de métriques ancrées sur la région d'intérêt.

arxiv arXiv cs.CL · il y a 7 j

ClinFusion : un MLLM centré sur la vision établit un nouvel état de l'art sur les benchmarks médicaux

Les chercheurs présentent ClinFusion, un modèle de langage multimodal large centré sur la vision, conçu pour une compréhension médicale holistique qui unifie l'analyse d'images 2D et native 3D. Le système utilise un encodeur visuel en cascade compositionnel avec un opérateur de fusion de localité spatialement conscient en cascade (Cascade Spatial-Aware Locality Fusion) pour relever les défis de l'imagerie médicale hétérogène.

lab NVIDIA Research · il y a 7 j · 3 vues

Analyse multimodale de l'IA sur la communication non verbale dans Delta Force

Les chercheurs analysent des vidéos de gameplay du jeu de tir compétitif Delta Force pour extraire et comprendre la communication non verbale émergente, telle que les gestes et les schémas de mouvement. Ce travail comble une lacune dans les études antérieures qui se sont largement concentrées sur les jeux MOBA ou la coordination verbale dans d'autres shooters.

arxiv arXiv cs.CL · il y a 19 j

CSSEL-P2P permet la traduction simultanée de la parole sans modifications architecturales

L'article présente CSSEL-P2P, une approche pilotée par les données pour la traduction simultanée de la parole qui évite les modifications architecturales fragiles et les politiques explicites de lecture/écriture souvent requises par les systèmes LLM à décodeur unique. La méthode utilise des chunks de longueur fixe pour le décodage en streaming cumulatif avec un préfixe engagé basé sur le retour en arrière, combiné à des cibles préfixe-à-préfixe étiquetées par l'enseignant et une attente bornée pour le fine-tuning.