lab Microsoft Research Blog · agora mesmo · research

Microsoft Research apresenta benchmark MindTopo para avaliar o raciocínio espacial de VLMs

Traduzido do English → Português (BR)

A Microsoft Research apresentou o MindTopo, um novo benchmark projetado para avaliar se modelos de linguagem multimodais de grande porte possuem intuição topológica sobre conectividade, contenção, ordem, separação e nós.

O benchmark organiza as tarefas em cinco categorias: continuidade, separação, ordem, contenção e nós.
Ele mede o desempenho em dois níveis cognitivos: raciocínio sobre cenas estáticas e planejamento por meio de sequências interativas de ações.
Todas as cenas são geradas a partir de simuladores controlados para fornecer uma verdade fundamental exata e dificuldade ajustável.
Os modelos atuais têm desempenho significativamente melhor em tarefas de reconhecimento estático do que em tarefas de planejamento interativo.
As falhas no planejamento frequentemente decorrem da perda de rastreamento das relações estruturais à medida que as cenas mudam ou da proposição de ações que violam restrições físicas.

As descobertas destacam uma lacuna substancial entre reconhecer a topologia em uma imagem estática e manter o entendimento dela enquanto age, sugerindo uma oportunidade de avançar sistemas de IA para robótica e ambientes interativos.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 3/3 Microsoft Research Blog Microsoft Research Evaluation & benchmarks Multimodal

Artigos relacionados

lab Microsoft Research Blog · há 1 d · 3 visualizações

Microsoft Research apresenta CARE-X, um VLM unificado de raios X torácico com supervisão auxiliar e medição aumentada por ferramentas

A Microsoft Research apresentou o CARE-X, um modelo de pesquisa projetado para preencher lacunas nos atuais modelos de visão e linguagem da radiologia, combinando a geração de relatórios generativos com previsões diagnósticas calibradas. O sistema utiliza aprendizado por reforço (DAPO) para recompensar a correção clínica e emparelha o modelo Qwen3-VL-4B-Instruct com ferramentas de medição determinísticas para avaliar o desempenho em condições que exigem cálculos precisos.

media r/LocalLLaMA · há 15 d · 6 visualizações

Microsoft lança Mage-VL, um modelo multimodal de streaming nativo para codec

A Microsoft lançou o Mage-VL, um modelo de fundação multimodal eficiente com 4B de parâmetros para compreensão de imagens e vídeos que utiliza uma abordagem nativa para codec a fim de simplificar o processamento visual. O sistema separa os fluxos de vídeo em quadros âncora (I) e quadros previstos (P), retendo apenas os patches onde o codec aloca bits, reduzindo o consumo de tokens visuais em mais de 75%.

lab NVIDIA Research · há 16 d · 9 visualizações

NVIDIA apresenta o Spatial-IQ, um framework de diagnóstico hierárquico para raciocínio espacial em modelos multimodais

Pesquisadores da NVIDIA introduziram o Spatial-IQ, um framework de diagnóstico projetado para decompor a inteligência espacial de grandes modelos de linguagem multimodais (MLLMs). Diferente dos benchmarks existentes que tratam os modelos como caixas-pretas, esta abordagem decompõe a contagem de objetos em estruturas 3D empilhadas em nove sub-tarefas perceptivas e cognitivas alinhadas com estágios do desenvolvimento humano.

arxiv arXiv cs.AI · há 31 d · 7 visualizações

Conjunto de dados CSB revela que MLLMs eliminam a lacuna na precisão da descrição de cenas de comportamento social complexo

Este estudo apresenta o conjunto de dados Complex Social Behavior (CSB), contendo 100 imagens de interações sociais complexas, para avaliar modelos de visão-linguagem ao longo de uma década (2017-2025). A pesquisa analisa cinco tipos de erros visuo-cognitivos em quatro Modelos de Linguagem Grande Multimodais (MLLMs) anteriores e cinco MLLMs.

arxiv arXiv cs.CL · há 31 d · 3 visualizações

MedRealMM: Benchmark Multimodal do Mundo Real para Consultas Médicas Online Chinesas

Pesquisadores apresentam o MedRealMM, um benchmark em larga escala para consultas médicas online multimodais construído a partir de interações entre paciente e médico desidentificadas coletadas em um hospital internet chinês nacional. O conjunto de dados utiliza um framework de extração Multimodal Clinical Challenge Point para converter trajetórias autênticas de consulta em tarefas padronizadas de geração da próxima resposta, acompanhadas de rubricas refinadas por médicos.