arxiv arXiv cs.AI · il y a 1 h · research

SCOUT améliore le raisonnement spatial des VLM via un CoT structuré et un RL supervisé par processus

Traduit de English → Français

Les chercheurs proposent SCOUT, un cadre qui améliore le raisonnement spatial des Modèles Vision-Language en combinant une Chaîne de Pensée structurée avec un apprentissage par renforcement à récompense de processus multi-objectif. Cette approche traite les problèmes d'attribution de crédit dans les méthodes RL existantes et intègre la perception de la profondeur pour une compréhension 3D complète.

SCOUT introduit un cadre CoT structuré pour modéliser explicitement la perception de l'environnement 3D.
La méthode utilise un nouvel algorithme RL avec des récompenses de processus multi-objectif et une estimation d'avantage sur mesure pour une attribution de crédit fine-grained.
Un nouveau jeu de données, SCOUT-24k, a été synthétisé via un pipeline personnalisé pour soutenir l'entraînement.
SCOUT-3B améliore les modèles de base de 16,85 % sur les benchmarks spatiaux généraux et de 6,3 % sur les tâches complexes.
Le modèle plus grand SCOUT-7B surpasse GPT-4o de 4,28 % bien qu'entraîné exclusivement sur des images uniques.

Les auteurs considèrent SCOUT comme une étape critique vers les VLM spatialement conscients de nouvelle génération, démontrant une généralisation robuste hors domaine aux scénarios multi-images et vidéo.

Importance 2/3 Dépasse un benchmark d'un laboratoire de premier plan arXiv cs.AI Multimodal Research paper

Lire l'original

Articles similaires

lab Microsoft Research Blog · il y a 1 j · 3 vues

Microsoft Research présente CARE-X, un VLM unifié de radiographie thoracique avec supervision auxiliaire et mesure augmentée par outils

Microsoft Research a présenté CARE-X, un modèle de recherche conçu pour combler les lacunes des modèles vision-langage actuels en radiologie en associant la génération de rapports génératifs à des prédictions diagnostiques calibrées. Le système utilise l'apprentissage par renforcement (DAPO) pour récompenser l'exactitude clinique et associe le modèle Qwen3-VL-4B-Instruct à des outils de mesure déterministes afin d'évaluer les performances sur des pathologies nécessitant des calculs précis.

lab NVIDIA Research · il y a 2 j · 3 vues

GenRecal distille de grands modèles vision-langage en petits par recalibration

Les chercheurs présentent GenRecal, un framework de distillation à usage général qui transfère des connaissances de grands modèles vision-langage (VLM) vers des contreparties plus petites et plus efficaces. La méthode aborde le défi des architectures VLM hétérogènes en utilisant un Recalibrator pour aligner et adapter les représentations de caractéristiques entre différents types de modèles.

lab NVIDIA Research · il y a 2 j

Hide to See introduit le masquage du préfixe de raisonnement pour la distillation VLM

Les chercheurs proposent un nouveau cadre de distillation penser-réponse qui améliore la capacité des modèles visuo-linguistiques compacts à utiliser des preuves visuelles en masquant les préfixes de raisonnement saillants. Cette approche aborde le problème de l'"oubli visuel" courant dans les traces longues de penser-réponse, où les étudiants perdent le focus sur les indices visuels pendant le raisonnement étendu.

arxiv arXiv cs.CL · il y a 9 j · 4 vues

Douyin publie le modèle d'encodage multimodal DME avec des performances de pointe

Douyin a publié le rapport technique de son modèle Multimodal Embedding (DME), qui combine un pré-entraînement contrastif à grande échelle avec un raisonnement latent pour atteindre une forte capacité de discrimination et une efficacité.

media Hugging Face Forums · il y a 11 j · 1 vue

Un lycéen cherche un endosseur arXiv pour l'article AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, une élève de seconde, cherche un endosseur arXiv dans cs.LG ou cs.CV pour téléverser son préprint indépendant intitulé "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."