lab Microsoft Research Blog · ahora mismo · research

Microsoft Research presenta el benchmark MindTopo para evaluar el razonamiento espacial de los VLM

Traducido del English → Español

Microsoft Research ha presentado MindTopo, un nuevo benchmark diseñado para evaluar si los modelos de lenguaje multimodales grandes poseen intuición topológica respecto a conectividad, contención, orden, separación y nudos.

El benchmark organiza las tareas en cinco categorías: continuidad, separación, orden, contención y nudos.
Mide el rendimiento en dos niveles cognitivos: razonamiento sobre escenas estáticas y planificación a través de secuencias interactivas de acciones.
Todas las escenas se generan a partir de simuladores controlados para proporcionar una verdad fundamental exacta y una dificultad ajustable.
Los modelos actuales tienen un rendimiento significativamente mejor en tareas de reconocimiento estático que en tareas de planificación interactiva.
Las fallas en la planificación a menudo provienen de perder el rastro de las relaciones estructurales a medida que cambian las escenas o de proponer acciones que violan restricciones físicas.

Los hallazgos destacan una brecha sustancial entre reconocer la topología en una imagen estática y mantener una comprensión de la misma mientras se actúa, lo que sugiere una oportunidad para avanzar los sistemas de IA para robótica y entornos interactivos.

Importancia 1/3 Nuevo entorno de evaluación con diferenciadores Confianza 3/3 Microsoft Research Blog Microsoft Research Evaluation & benchmarks Multimodal

Artículos relacionados

lab Microsoft Research Blog · hace 1 d · 3 vistas

Microsoft Research presenta CARE-X, un VLM unificado de radiografías de tórax con supervisión auxiliar y medición aumentada por herramientas

Microsoft Research ha presentado CARE-X, un modelo de investigación diseñado para abordar las lagunas en los actuales modelos de visión-lenguaje de radiología al combinar la generación de informes generativos con predicciones diagnósticas calibradas. El sistema utiliza aprendizaje por refuerzo (DAPO) para recompensar la corrección clínica y empareja el modelo Qwen3-VL-4B-Instruct con herramientas de medición deterministas para evaluar el rendimiento en condiciones que requieren cálculos precisos.

media r/LocalLLaMA · hace 15 d · 6 vistas

Microsoft lanza Mage-VL, un modelo multimodal de streaming nativo de códec

Microsoft ha lanzado Mage-VL, un modelo base multimodal eficiente de 4B de parámetros para la comprensión de imágenes y video que utiliza un enfoque nativo de códec para optimizar el procesamiento visual. El sistema separa los flujos de video en fotogramas ancla (I) y predichos (P), conservando solo los parches donde el códec asigna bits para reducir el consumo de tokens visuales en más del 75%.

lab NVIDIA Research · hace 16 d · 9 vistas

NVIDIA presenta Spatial-IQ, un marco de diagnóstico jerárquico para el razonamiento espacial en modelos multimodales

Investigadores de NVIDIA han presentado Spatial-IQ, un marco de diagnóstico diseñado para descomponer la inteligencia espacial de los grandes modelos de lenguaje multimodales (MLLMs). A diferencia de las evaluaciones existentes que tratan a los modelos como cajas negras, este enfoque descompone el conteo de objetos en estructuras 3D apiladas en nueve sub-tareas perceptivas y cognitivas alineadas con las etapas del desarrollo humano.

arxiv arXiv cs.AI · hace 31 d · 7 vistas

El conjunto de datos CSB revela que los MLLM eliminan la brecha en la precisión de la descripción de escenas de comportamiento social complejo

Este estudio presenta el conjunto de datos Complex Social Behavior (CSB), que contiene 100 imágenes de interacciones sociales complejas, para evaluar modelos de visión-lenguaje a lo largo de una década (2017-2025). La investigación analiza cinco tipos de errores visuo-cognitivos en cuatro Modelos de Lenguaje Grande Multimodales (MLLM) previos y cinco MLLM.

arxiv arXiv cs.CL · hace 31 d · 3 vistas

MedRealMM: Benchmark multimodal del mundo real para consultas médicas en línea chinas

Los investigadores presentan MedRealMM, un benchmark a gran escala para consultas médicas en línea multimodales construido a partir de interacciones entre pacientes y médicos desidentificadas recopiladas en un hospital internet chino a nivel nacional. El conjunto de datos utiliza un marco de extracción Multimodal Clinical Challenge Point para convertir trayectorias auténticas de consulta en tareas estandarizadas de generación de la siguiente respuesta, acompañadas de rúbricas refinadas por médicos.