lab NVIDIA Research · há 1 h · research

NVIDIA apresenta o Spatial-IQ, um framework de diagnóstico hierárquico para raciocínio espacial em modelos multimodais

Traduzido do English → Português (BR)

Pesquisadores da NVIDIA introduziram o Spatial-IQ, um framework de diagnóstico projetado para decompor a inteligência espacial de grandes modelos de linguagem multimodais (MLLMs). Diferente dos benchmarks existentes que tratam os modelos como caixas-pretas, esta abordagem decompõe a contagem de objetos em estruturas 3D empilhadas em nove sub-tarefas perceptivas e cognitivas alinhadas com estágios do desenvolvimento humano.

O framework utiliza o NVIDIA Isaac Sim para gerar proceduralmente um conjunto de dados de aproximadamente 80.000 estruturas 3D empilhadas com ground truth para cada sub-tarefa.
As avaliações em texto de resposta livre, imagens de múltipla escolha e formatos de edição de imagem revelam que modelos de alto desempenho frequentemente têm sucesso nas tarefas-alvo enquanto falham em sub-tarefas de nível inferior, indicando comportamento por atalho.
O estudo demonstra que o treinamento com supervisão de chain-of-thought sobre essas sub-tarefas hierárquicas, combinado com aprendizado por reforço com recompensas verificáveis, melhora significativamente tanto a consistência espacial quanto a precisão da tarefa-alvo.

Esta decomposição serve tanto como uma ferramenta de diagnóstico para identificar modos específicos de falha quanto como um sinal de treinamento eficaz para aprimorar a robustez do raciocínio espacial em MLLMs.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 3/3 NVIDIA Research NVIDIA Evaluation & benchmarks Multimodal

Artigos relacionados

lab NVIDIA Research · há 13 h

Análise de IA multimodal da comunicação não verbal em Delta Force

Pesquisadores analisam vídeos de gameplay do jogo competitivo de tiro Delta Force para extrair e compreender a comunicação não verbal emergente, como gestos e padrões de movimento. Este trabalho aborda uma lacuna em estudos anteriores que se concentraram amplamente em jogos MOBA ou coordenação verbal em outros shooters.

arxiv arXiv cs.AI · há 15 d

Conjunto de dados CSB revela que MLLMs eliminam a lacuna na precisão da descrição de cenas de comportamento social complexo

Este estudo apresenta o conjunto de dados Complex Social Behavior (CSB), contendo 100 imagens de interações sociais complexas, para avaliar modelos de visão-linguagem ao longo de uma década (2017-2025). A pesquisa analisa cinco tipos de erros visuo-cognitivos em quatro Modelos de Linguagem Grande Multimodais (MLLMs) anteriores e cinco MLLMs.

arxiv arXiv cs.CL · há 15 d · 2 visualizações

MedRealMM: Benchmark Multimodal do Mundo Real para Consultas Médicas Online Chinesas

Pesquisadores apresentam o MedRealMM, um benchmark em larga escala para consultas médicas online multimodais construído a partir de interações entre paciente e médico desidentificadas coletadas em um hospital internet chinês nacional. O conjunto de dados utiliza um framework de extração Multimodal Clinical Challenge Point para converter trajetórias autênticas de consulta em tarefas padronizadas de geração da próxima resposta, acompanhadas de rubricas refinadas por médicos.

lab NVIDIA Technical Blog · há 16 d

NVIDIA apresenta método para avaliar políticas de robôs de propósito geral

A NVIDIA aborda o desafio de avaliar rigorosamente os modelos fundamentais de robótica, que agora podem seguir instruções em linguagem natural para manipular objetos. A empresa identifica a avaliação como um problema crítico não resolvido e apresenta um novo método para abordar essas questões.

arxiv arXiv cs.AI · há 17 d

OmniFood-Bench avalia VLMs em raciocínio nutricional e aconselhamento de saúde personalizado

Os autores apresentam o OmniFood-Bench, um benchmark abrangente construído a partir do conjunto de dados MM-Food-100K para avaliar Vision-Language Models (VLM) em raciocínio nutricional e aconselhamento de saúde personalizado. Diferentemente de benchmarks anteriores focados em classificação de granulação grossa, este trabalho avalia três capacidades progressivas: percepção básica de ingredientes e métodos de cozimento, raciocínio quantitativo para tamanho da porção e perfil nutricional, e aconselhamento crítico para segurança em recomendações específicas de doenças.