arxiv arXiv cs.AI · há 1 h · research

SCUT melhora o raciocínio espacial em VLMs por meio de CoT estruturado e RL supervisionado por processo

Traduzido do English → Português (BR)

Pesquisadores propõem o SCOUT, um framework que aprimora o raciocínio espacial de Modelos Visão-Linguagem ao combinar Chain-of-Thought estruturada com aprendizado por reforço de recompensa de processo multiobjetivo. Essa abordagem aborda problemas de atribuição de crédito em métodos de RL existentes e integra percepção de profundidade para compreensão 3D abrangente.

SCUT introduz um framework CoT estruturado para modelar explicitamente a percepção do ambiente 3D.
O método utiliza um algoritmo de RL novelo com recompensas de processo multiobjetivo e estimação de vantagem adaptada para atribuição de crédito em nível fino.
Um novo conjunto de dados, SCOUT-24k, foi sintetizado por meio de um pipeline personalizado para apoiar o treinamento.
SCOUT-3B supera as linhas de base em 16,85% em benchmarks espaciais gerais e em 6,3% em tarefas complexas.
O modelo maior SCOUT-7B supera o GPT-4o em 4,28%, apesar de ter sido treinado exclusivamente com imagens únicas.

Os autores consideram o SCUT um passo crítico rumo aos VLMs espacialmente conscientes de próxima geração, demonstrando generalização robusta fora do domínio para cenários com múltiplas imagens e vídeo.

Importância 2/3 Supera um benchmark de um laboratório de ponta arXiv cs.AI Multimodal Research paper

Artigos relacionados

lab Microsoft Research Blog · há 1 d · 3 visualizações

Microsoft Research apresenta CARE-X, um VLM unificado de raios X torácico com supervisão auxiliar e medição aumentada por ferramentas

A Microsoft Research apresentou o CARE-X, um modelo de pesquisa projetado para preencher lacunas nos atuais modelos de visão e linguagem da radiologia, combinando a geração de relatórios generativos com previsões diagnósticas calibradas. O sistema utiliza aprendizado por reforço (DAPO) para recompensar a correção clínica e emparelha o modelo Qwen3-VL-4B-Instruct com ferramentas de medição determinísticas para avaliar o desempenho em condições que exigem cálculos precisos.

lab NVIDIA Research · há 2 d · 3 visualizações

GenRecal destila grandes modelos de visão e linguagem em pequenos por meio de recalibração

Pesquisadores apresentam o GenRecal, um framework de destilação de propósito geral que transfere conhecimento de grandes modelos de visão e linguagem (VLM) para contrapartes menores e mais eficientes. O método aborda o desafio das arquiteturas VLM heterogêneas usando um Recalibrator para alinhar e adaptar representações de características entre diferentes tipos de modelos.

lab NVIDIA Research · há 2 d

Hide to See introduz mascaramento de prefixo de raciocínio para destilação de VLM

Pesquisadores propõem um novo framework de destilação pensar-responder que melhora a capacidade de modelos visuo-linguísticos compactos de utilizar evidência visual ao mascarar prefixos de raciocínio salientes. Esta abordagem aborda o problema do "esquecimento visual" comum em rastros longos de pensar-responder, onde os estudantes perdem o foco nas pistas visuais durante o raciocínio estendido.

arxiv arXiv cs.CL · há 9 d · 4 visualizações

Douyin lança modelo de incorporação multimodal DME com desempenho de ponta

O Douyin publicou o relatório técnico de seu modelo Multimodal Embedding (DME), que combina pré-treinamento contrastivo em larga escala com raciocínio latente para alcançar forte discriminação e eficiência.

media Hugging Face Forums · há 11 d · 1 visualização

Estudante do ensino médio busca endossador do arXiv para artigo AttnRoute-MoE Vision Transformer

Hanyu (Olivia) Yu, uma estudante do segundo ano do ensino médio, está buscando um endossador do arXiv em cs.LG ou cs.CV para carregar seu preprint independente intitulado "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."